본문으로 건너뛰기
버전: docs v25.02

Deploy model for inference

Updated 2024.09.25

Model Deployment​

Streams → Actions → Deploy

Edge Conductor의 Stream에서는 모델 학습 요청을 통해 얻은 AI Model을 Edge로 배포할 수 있습니다. 배포된 AI Model은 Inference Pipeline 동작과 함께 Inference를 수행하고 결과를 출력합니다. AI Model을 배포할 때에는 해당 Model에 대한 AI Solution 정보가 함께 배포됩니다. Edge에 설치된 Edge App은 배포 받은 AI Model을 이용해 Inference Pipeline을 실행시키는 역할을 합니다. 따라서, AI Model은 항상 Inference Pipeline과 버전이 일치해야 합니다. 예를 들어, AI Solution에 Version 1, Version 2가 존재한다고 할 때, Edge에 Version 1의 Inference Pipeline이 배포되어 있는데, Version 2로 만든 AI Model을 배포한다면, 해당 Edge는 AI Model과 함께 Version 2의 Inference Pipeline을 배포 받게 됩니다.

To deploy AI Model​

  1. Navigate to the Edge Conductor and login.
  2. In the left navigation pane, choose Stream.
  3. Choose the stream to deploy model. The stream status should be ready to deploy.
  4. Press the deploy button(rocket icon) in the stream status or click Actions in the upper right corner and select deploy model .
  5. Choose the edges where you want to deploy the model.
  6. Press Deploy.

Version of AI Model​

AI Model을 모니터링하고 지속적으로 개선/최적화함으로써 성능을 유지하는 것은 Mellerikat의 핵심 기능 중 하나입니다. AI Model의 Version은 이러한 개선/최적화 과정을 추적하는 데 목적이 있습니다. AI Model의 Version은 다음과 같은 규칙을 따릅니다: v{AI Solution Version}.{Number of training in the stream} 예를 들어, Stream에 연결된 Solution이 AI Solution version 3에 대한 Solution이고, Stream에서 해당 Solution에 대해 4번째로 학습한 AI Model이라면, Version은 v3.4가 됩니다. 이러한 Versioning 규칙은 AI Model 이 AI Solution 의 어떤 Version에 대한 모델인지, 그리고 해당 AI Solution Verison에 대하여 몇번째로 학습한 모델인지 명시함으로써, 현재 동작하고 있는 AI Model이 어떻게 개선되어 왔는지를 나타냅니다.


Status of model deploy​

Stream status를 통해서 사용자는 모델의 배포 상태를 확인할 수 있습니다.

  • Deploying : Edge으로 배포 요청된 상태입니다. Edge에서 배포받을 준비가 되어 배포중인 상태입니다.
  • Deploy Failure : Edge에서 배포받은 과정에 문제가 발생한 경우 입니다.
  • Deployed : 배포가 성공적으로 되었고, Edge에서 추론할 준비가 되었습니다.

Re-deployment​

새로 배포한 AI Model이 이전 모델보다 성능이 떨어진다면, 과거 사용했던 AI Model을 다시 배포 할 수 있습니다. Edge Conductor의 Stream에는 과거 학습했던 AI Model들의 이력이 남아 있어, 사용자가 과거의 AI Model을 다시 배포할 수 있습니다. 이 때 AI Model에 해당하는 Inference Pipeline도 같이 배포 됩니다.

To re-deploy a model that was trained in the past:​

  1. Navigate to the Edge Conductor and login.
  2. In the left navigation pane, choose Stream.
  3. Choose the stream to deploy model.
  4. Navigate to the Model history tab in the Stream details pane at the bottom.
  5. Choose the model version to deploy and press the deploy button(rocket icon).
  6. Choose the edges where you want to deploy the model
  7. Press Deploy.