AI Logic Deployer에 API 배포하기
이 문서는 로컬 환경에서 개발한 Mellerikat LLMOps 플랫폼 (AI Logic Deployer와 AI Conducdtor가 설치되어 있는 환경)에 등록하고 클라우드 인프라에 배포하는 방법을 CLI 명령어 중심으로 단계별 설명합니다. 각 단계에서는 필요한 명령어와 실무적인 주의사항을 함께 다룹니다.
서비스 API 등록 단계
로컬 환경에서 생성된 서비스 API를 Mellerikat LLMops 플랫폼에 등록하는 단계 입니다.
서비스 API는 workspace 단위로 관리됩니다.
계정 로그인 (alm login)
먼저 Mellerikat LLMOps 플랫폼에 설치된 AI Conductor에 로그인하여 인증을 받아야 합니다. 이를 위해 CLI에서 다음 명령을 실행합니다:
alm login
- 명령 실행 후 플랫폼 계정의 자격 증명(이메일/사용자명과 비밀번호)을 입력하라는 프롬프트가 나타납니다. 안내에 따라 올바른 자격 정보를 입력하세요.
- 로그인에 성공하면 인증 토큰이 저장되어 이후 명령어 실행 시 인증이 유지됩니다. (로그인 성공 메시지나 사용자 정보 출 력으로 확인 가능)
- Tip: 만약 CLI 환경에서 로그인 상태 유지가 안 되거나 토큰이 만료된 경우, 다시
alm login을 실행하여 재 인증합니다. login 세션은 3시간 동안 유효합니다.
로그인 성공 시 아래와 같이 로그가 출력됩니다.
- AI Conductor의 workspace 중에서 하나의 workspace 접근 권한을 가지고 있는 경우, 해당 workspace가 default workspace로 설정됩니다. 여러 workspace에 접근 권한이 있는 경우, default로 접근할 workspace를 설정해주어야합니다.
alm login
Please enter your AI Conductor ID: gildong.hong
Please enter your AI Conductor password: **********
File /home/jeongjun.park/.token/key.json has been removed for initialization.
access_token has been updated in /home/jeongjun.park/.token/key.json
Login success
test-ws has been updated in /home/jeongjun.park/.token/key.json
You can access these workspaces: ['test2-ws', 'test-ws', 'test1-ws']
Please input default workspace: test1-ws
default_ws has been updated in /home/jeongjun.park/.token/key.json
Default workspace: test1-ws
서비스 API 등록 (alm register)
이 단계 에서는 로컬에서 개발한 LLM API 서비스를 Mellerikat LLMops 플랫폼의 AI Conductor에 서비스로 등록합니다. alm register 명령어를 사용하며, 서비스 이름, 상세 설명 정보를 제공해야 합니다. 등록 절차는 다음과 같습니다:
제약사항
- 영어 대문자, 스페이스, 특수 문자, 한글은 미지원하며 50자까지 가능합니다.
- Service API이름은 영어 소문자, dash ( - ), 숫자만 입력 가능합니다.
- 기존 동일한 이름으로 등록되어 있는 경우, 업데이트 혹은 삭제 후 재등록해야합니다.
alm register --name (Service API Name)
alm register -n (Service API Name)
(Optional) Service API 제작에 사용되는 image를 수정할 수 있습니다.
--image를 default로 사용하는 경우python-3.12image를 사용합니다.
# image )
alm register --name (Service API Name) --image python-3.13-slim
# API )
alm register --name survey-genius-cloud-service
- 서비스 이름(Name) 입력 프롬프트가 나타나면, 배포할 서비스를 대표하는 고유한 이름을 입력합니다.
- 이름은 한글 또는 영문, 숫자 등을 조합하여 간결하고 알기 쉽게 지정합니다 (예: my-llm-service).
- 입력을 완료하면 CLI가 서비스 등록을 수행하고, 성공 시 해당 서비스에 대한 고유 ID 또는 성공 메시지를 출력합니다.
- 주의: 서비스 이름은 플랫폼 내에서 중복될 수 없습니다. 이미 동일한 이름의 서비스가 존재하면 등록이 거부됩니다. 이 경 우 다른 이름으로 시도하거나, 필요 시 기존 서비스를 삭제해야 합니다.
- 등록 완료 후에는 내부적으로 서비스가 레지스트리에 등록되고, 클라우드 배포를 위한 준비가 완료됩니다.
주의사항
- ALO-LLM CLI를 통해 등록 시 현 위치에 존재하는 모든 폴더와 파일을 압축하여 등록합니다.
- 이 과정에서
.env파일은 압축에서 제외됩니다. (추후 activate 단계에서 전달됩니다.) - 등록 시
config.yaml의 port를 80으로 수정 후 등록해주세요!! 80이 아닌 경우 아래 에러가 발생합니다. (ALOLLM을 사용하여 로직을 작성한 경우만) Error: Please change the port number to 80 and register again!
성공적으로 등록된 경우 아래와 같은 로그가 출력되고, Mellerikat LLMops 환경에 설치된 AI Conductor에서 Service API를 확인 할 수 있습니다.
Registration Successful!
Name: survey-genius-cloud-service
Creator: jeongjun.park
Created At: 2025-06-02T08:01:10
Versions: 1
등록된 서비스 API 업데이트 (alm register --update)
등록되어있는 Service API를 업데이트 하기 위해서는 아래 명령어를 통해 업데이트할 수 있습니다.
alm register --update (Service API Name)
alm register -u (Service API Name)
성공적으로 업데이트 된 경우 다음과 같이 version이 상승하는 것을 확인할 수 있습니다.
Registration Successful!
Name: survey-genius-cloud-service
Creator: jeongjun.park
Created At: 2025-07-14T07:41:31
Versions: 2
AI Pack 설치 및 서비스 API 배포 단계
AI Pack을 설치하고, Mellerikat LLMops 플랫폼에 등록된 서비스 API를 AI Pack이 설치된 인프라 환경에 배포하는 단계입니다. 동일 이름의 AI Pack은 버전 상관 없이 하나만 deploy 및 activate가 가능합니다. 버전을 변경하고자 하는 경우는, deactivate 및 deploy delete 후 진행하셔야합니다. AI Pack은 서비스 API가 안정적인 운영 서비스를 수행하는데에 필요한 자원들을 포함하고 있습니다.
클라우드에 AI Pack 설치 및 서비스 API 배포 (alm deploy)
등록한 서비스 API가 안정적인 운영 서비스를 수행하기 위해 필요한 AI Pack을 설치하고, 서비스 API를 배포합니다. alm deploy 명령어를 사용하며, 대상 서비스API의 이름이나 ID를 지정해야 합니다. 배포 명령 실행 예시는 다음과 같습니다.
alm deploy --name (Service API Name)
alm deploy -n (Service API Name)
- 명령 실행 직후 AI Pack 설치 및 서비스 API 배포 프로세스가 시작되며, CLI 출력으로 deploy 요청이 접수되었다는 메시지 와 함께 서비스 접근 URL이 제공됩니다.
- 특정 서비스 API 버전을 deploy하고자 하는 경우
--version (version)or-v (version)옵션을 활용할 수 있 습니다. CLI 버전 옵션을 입력하지 않은 경우 default로 가장 최신 업데이트한 버전으로 배포됩니다.
# API deploy )
alm deploy -n (Service API Name) --version 2
alm deploy -n (Service API Name) -v 2
deploy명령어 실행 후에는 다음과 같은 로그가 출력됩니다.
Deploy Success:
name: (Service API Name)
creator: jeongjun.park
created_at: 2025-07-14T07:41:54
updator: jeongjun.park
updated_at: 2025-07-14T07:41:54
참고사항
- 배포하는 AI Pack이 많은 리소스가 필요한 경우, CLI에
--namespace True옵션를 추가하여 namespace를 개별 할당 할 수 있습니다. 옵션을 추가하지 않는 경우에는 AI Cond workspace별로 생성되어있는 public namespace 에 deploy되어집니다. alm deploy --name survey-genius-cloud-service --version 1 --namespace True
AI Pack Activate 단계
설치된 AI Pack을 Activate 시키는 단계입니다. 이 단계를 통해 배포된 서비스 API가 ON되어 서비스 가능 상태가 됩니다.
참고사항
- Activate CLI를 입력하는 경로에 존재하는
.env파일을 읽어 환경변수로 전달합니다. .env파일을 업데이트하고자 하는 경우deactivate->.env파일 업데이트 ->activate순으로 진행하시면 됩니다.
AI Pack Activate (alm activate)
alm activate 명령어를 사용하여 AI Pack 설치 및 배포된 서비스 API를 activate 수행합니다. 이를 통해 서비스 API는 서비 스 운영 가능한 상태가 되어집니다.
alm activate --name (Service API Name)
alm activate -n (Service API Name)
다음과 같이, 사용할 resource의 스펙을 정하는 질문이 나옵니다. (하나의 resource만 존재하는 경우 자동으로 선택됩니다.)
| Available specs: | ||||||
|---|---|---|---|---|---|---|
| Name | Instance | Instance Type | vCPU | RAM(GB) | GPU | GPU RAM(GB) |
| standard | t3.medium | CPU | 2 | 4 | 0 | 0 |
| high | t3.large | CPU | 2 | 8 | 0 | 0 |
| low | t3.small | CPU | 2 | 2 | 0 | 0 |
| Please select one of the following spec names: high You selected: high |
Activate Success:
name: survey-genius-cloud-service-20250714074406663
creator: jeongjun.park
created_at: 2025-07-14T07:44:06
updator: jeongjun.park
updated_at: 2025-07-14T07:44:06
aipack_activate_url: https://ald-ym.11m-dev.try-mellerikat.com/survey-genius-cloud-service
file saved at: /home/jeongjun.park/jj_0817/test_11/new_chatbot/example_chatbot/.workspace/survey_analysis
/activate_info.json
- 위 URL은 배포된 서비스의 엔드포인트를 가리키며, 배포가 완료되면 해당 주소를 통해 API에 접근할 수 있습니다.
- Swagger UI를 통해 API를 테스트하거나 문서를 볼 수도 있습니다. 대부분의 웹 프레임워크에서는 Swagger UI(인터랙티 브 API 문서)가 기본적으로 / docs 경로에 제공됩니다.
- 예: 위 예시 URL의 Swagger UI에 접속하려면 브라우저에서
https://my11mservice-123456.cloud.example.com/docs/api/v1와 같이/docs/api/v1 추가하여 열면 됩니다. 해당 페이지에서 API의 엔드포 인트 목록과 입력/출력 스키마를 확인하고 직접 호출해볼 수 있습니다. - Note: 배포 직후에는 서비스가 완전히 기동되기까지 약 5 분의 시간이 걸릴 수 있습니다. 바로 URL에 접속되지 않을 수 있습니다.