ALO-LLM

ALO-LLM은 LLM Service Logic을 손쉽게 Service API로 패키징하고, AI Logic Deployer 기반의 Service API 운영을 돕는 도구입니다.

LLM Service Framework

표준화된 LLM 서비스 개발 프레임워크

표준화된 프레임워크를 통해 개발자는 쉽게 고품질 LLM 서비스를 만들 수 있습니다. 일관된 코드 스타일과 포맷으로 코드 품질을 지키고, 유지보수도 쉬워질뿐만 아니라, 일정한 개발 방식을 바탕으로 DevOps와의 연계 및 확장성을 강화합니다. 또, 완성된 서비스는 AI Conductor에 등록되어 LLMOps 체계 안에서 편리하게 관리할 수 있습니다.

Service-centric Architecture

Service API 자동 변환 지원

운영에 필요한 Service API 자동 변환을 지원하여, 서비스 개발자는 서비스 로직 개발에만 집중할 수 있습니다.
FastAPI를 비롯한 SW Development 에 대한 전문 지식이 없어도, LLM 서비스를 개발할 수 있습니다.

Command Line Interface

CLI 명령어 기반의 손쉬운 서비스 운영

CLI를 기반으로 Service API의 Packaging, Registration, Deployment(Provisioning) 를 지원하여, LLMOps 를 위한 간편한 인터페이스를 제공합니다.

Integration-friendly

DB 및 Observability 도구들과의 연동 지원

서비스 로직에서 필요로 하는 데이터가 담긴 DB와 서비스 성능 개선을 위한 Observability도구들과의 연동을 지원합니다.
다양한 도구들과의 연동 지원으로 서비스 안정성과 성능을 향상시킵니다.