Edge Conductor
Edge Conductor란?
Edge Conductor는 엣지 디바이스에서 동작하는 딥러닝 모델의 추론 결과를 통합적으로 모니터링하고, 추론에 필요한 학습 모델의 유지보수를 효율적으로 수행할 수 있도록 지원하는 웹 기반 서비스입니다. Edge Conductor는 AI 모델의 배포, 학습 데이터셋 관리, 모델 학습 요청, 추론 결과 모니터링 및 데이터 재레이블링을 포함한 다양한 기능을 제공합니다. 이를 통해 사용자는 각 엣지 디바이스에 AI 모델을 배포하고, 실시간으로 추론 결과를 수집, 검토 및 관리할 수 있습니다.
핵심 기능
Edge Conductor는 엣지에서의 추론 상황을 모니터링하고, 학습 데이터셋 관리 & 모델 학습 및 배포 기능을 제공하여 운영 환경에서 지속적인 성능 효율성을 높이도록 합니다. Edge Conductor의 핵심 기능을 자세하게 살펴보겠습니다.
통합된 엣지 모니터링
추론을 수행하는 여러 엣지들의 관리를 통해 중앙에서 엣지들의 상태 및 동작을 통합 모니터링 합니다. 엣지의 디바이스 정보를 포함한 다양한 정보, 그리고 추론 성능 점수를 포함한 추론 데이터들을 수집합니다. 사용자는 필요한 경우 추론 로그 및 추론 실패 히스토리를 함께 확인할 수 있습니다.
학습 데이터 관리
사용자는 보다 정확한 추론을 위해서, 학습 데이터셋을 생성 및 관리하고, 이를 바탕으로 모델을 생성 요청할 수 있습니다. 다양한 소스 데이터(엣지들로부터 수집된 추론 데이터, 로컬 PC 데이터, S3 데이터)로부터 데이터 셋을 생성할 수 있으며, 고객 요구 사항에 따라 지속 추가될 예정입니다. 또한 데이터셋 레이블링이 가능한 AI Solution인 경우, 사용자가 학습 데이터셋에서 레이블 값을 재정의할 수 있는 재레이블링 도구를 제공합니다.
다양한 솔루션 활용
mellerikat에서 지원하는 다양한 솔루션 정보들을 확인하고, 사용자는 자신에게 필요한 솔루션을 선택하여 사용할 수 있습니다. 솔루션으로 생성된 스트림을 통해 사용자는 AI Conductor으로 모델 학습을 요청하고, 생성된 모델을 엣지들로 배포 및 관리 할 수 있습니다.
모델 관리 및 배포
사용자는 학습 데이터셋을 선택하며, 업데이트 된 모델을 학습 요청할 수 있습니다. 생성된 모델의 성능 지표를 확인할 수 있으며, 엣지들로 업데이트 된 모델을 배포하여, 추론 정확도를 높일 수 있습니다.
사용자 시나리오
Edge Conductor 사용자 시나리오는 다음과 같습니다.
- 엣지 등록: AI 모델을 배포할 엣지를 선택하여 등록합니다. 하나의 엣지에서는 한 번에 하나의 AI 모델만 활용할 수 있습니다.
- 데이터셋 준비: 학습할 데이터셋을 준비합니다. 내가 보유한 파일을 업로드하거나 클라우드 저장소의 데이터를 선택할 수 있습니다.
- 스트림 생성: 활용할 AI Solution 인스턴스를 선정하고 스트림을 생성합니다. 스트림 생성 시 허용 범위 내에서 파라미터를 설정할 수 있습니다.
- 모델 학습 요청: 스트림을 생성한 후, 데이터셋을 선택하여 모델 학습을 요청합니다. 모델 학습은 AI Conductor에서 수행되며, 학습이 완료되면 해당 스트림에 모델이 저장됩니다.
- 모델 배포: 학습이 완료된 AI 모델을 엣지에 배포합니다. 한 번에 여러 개의 엣지에 배포할 수도 있습니다.
- 추론 결과 확인: 엣지에서 수행된 추론 결과는 Edge Conductor로 전송되며, Edge Conductor에서 이를 확인하고 감독합니다.
- 데이터셋 생성: 수집된 추론 결과를 활용하여 새로운 학습 데이터셋을 만듭니다. 추론 결과가 잘못되었다면 데이터를 재레이블링하여 결과 값을 변경하여 학습 데이터의 품질을 높일 수 있습니다.
- 재학습 및 재배포: 새로운 학습 데이터셋으로 AI 모델을 다시 학습 시키고, 업그레이드 된 AI 모델을 다시 엣지에 배포합니다.