Orbit

AI 서비스 운영에서 Observability, 즉 관찰 가능성은 그동안 핵심적인 역할을 해왔습니다. 시스템이 어떻게 동작하는지, 어디서 문제가 발생하는지를 파악하는 데 있어 매우 중요한 도구였습니다. 하지만 이제 단순히 관찰만으로는 충분하지 않습니다. 문제를 발견하는 데서 멈춘다면, 결국 운영자가 직접 분석하고 대응해야 하고, 이는 많은 시간과 노력을 요구합니다. 오늘날 기업들은 단순 모니터링을 넘어, 스스로 문제를 감지하고, 개선 방안을 제시하며, 나아가 진화할 수 있는 플랫폼을 강력하게 원하고 있습니다.
Orbit은 바로 이러한 시대적 요구에서 탄생했습니다. Orbit의 핵심은 관찰로부터 얻은 데이터를 바탕으로 서비스를 능동적으로 개선하고 최적화하는 지능을 구현하는 것입니다. 저희가 Orbit의 철학을 담아 표현한 키워드는 바로 Beyond Observability, Into Intelligence 입니다. 즉, 단순히 관찰하는 수준을 넘어 지능적으로 스스로 진화하는 서비스 운영을 가능하게 하는 것 이것이 Orbit이 추구하는 핵심 가치이자 철학입니다.

Orbit의 핵심가치

단순 모니터링을 넘어서 지능형 서비스로

Orbit은 단순 모니터링을 넘어, 서비스가 스스로 진화할 수 있도록 설계된 지능형 플랫폼입니다. 운영 과정에서 발생하는 프롬프트, 응답, 사용자 피드백, 성능 지표 등 Observability 데이터는 단순 기록이 아니라 개선을 위한 핵심 자원으로 활용됩니다. Orbit은 이를 바탕으로 AI 에이전트를 관리하고, 사용자 활동 패턴을 분석해 문제를 진단하며, 자동으로 개선 방향을 반영합니다. 그 결과 서비스는 시간이 지날수록 더 정교해지고 안정적으로 발전하며, 운영자는 효율성과 신뢰성을 동시에 확보할 수 있습니다.

대표 핵심가치

mellerikat Orbit

서비스를 더 똑똑하게 진화시키는 Mellerikat ORBIT 구성요소

ORBIT은 ORBIT Agent와 ORBIT Application로 구성되어 있습니다. 각 구성 요소는 특정 목적에 맞게 독립적으로 설치·운영할 수 있으며, 동시에 유기적으로 연결될 경우 서비스 전반을 아우르는 지능적 운영을 실현합니다. 이러한 구조를 통해 ORBIT은 유연성과 확장성을 모두 갖춘 플랫폼으로 기능합니다.

Orbit Agent : Intelligence Controls

데이터를 기반으로 서비스를 지능적으로 제어하는 핵심 엔진

Orbit Agent의 핵심은 두 가지입니다.
첫째, 수많은 데이터를 활용해 Intelligence Layer를 만든다는 점입니다. FAQ 생성, 연계질문 추천, 프롬프트 개선 등 다양한 로직이 데이터를 기반으로 돌아가면서, 단순한 Agent의 모음이 아니라 메타지능 서비스로 발전합니다. 즉, Orbit Agent는 데이터를 단순 기록이 아니라, 서비스 품질을 높이는 지능적 자산으로 바꿔줍니다.
둘째, 운영자가 원하는 방식대로 서비스가 동작하도록 매니징한다는 점입니다. 예를 들어, 모든 Agent에 FAQ 기능을 활성화하고 싶다면 Orbit Agent에서 한 번에 실행할 수 있습니다. 혹은 GPT API 기반에서 sLM 같은 경량 모델로 전환하고 싶다면, 마찬가지로 Orbit Agent가 전체를 매니징합니다.
결국 Orbit Agent는 단순 기능 집합이 아니라, 데이터에서 Intelligence Layer를 만들고, 운영자가 원하는 서비스 동작을 실현하는 매니지먼트 레이어입니다.

사용자 로그 기반 자동 생성 FAQ 서비스

FAQ 서비스는 실시간 데이터 기반으로 최신 이슈와 사용자 트렌드를 반영해 FAQ를 자동으로 생성갱신하는 시스템입니다. 기존의 정적 FAQ는 업데이트 주기가 길어, 새롭게 발생하는 이슈나 급격히 변하는 사용자 관심사를 반영하지 못하는 한계가 있었습니다. 또한 사용자는 “무엇을 어떻게 물어봐야 하나”조차 감이 오지 않아, 같은 내용을 반복해서 문의하거나 서비스 이탈로 이어지는 경우가 많습니다.서비스 개발자나 운영자는 직접 데이터 수집변화 감지를 수행해야 하는데, 이 역시 많은 시간과 노력이 들어, 시의성 있는 FAQ 운영이 쉽지 않습니다. 이런 문제를 해결하기 위한 Auto FAQ 서비스는 사용자가 반복적으로 묻는 질문이나 새로운 이슈에 대한 답변이 늦게 반영되는 문제를 해결하기 위해 만들어졌습니다. 이 서비스는 수집된 로그, 사용자 피드백, 응답 기록을 분석하여 자주 등장하는 질문을 자동으로 식별하고, 그에 맞는 답변을 최신 상태로 유지할 수 있도록 합니다.

다음 질문을 제안하고 대화의 흐름을 유지하는 연계/보조 질문 제안 서비스

일반적인 LLM은 한 번의 질문에 하나의 답변만 제공하기 때문에 사용자가 후속 질문을 스스로 설계해야 하고, 적절한 탐색 방향을 찾지 못하면 대화가 끊기거나 반복되는 문제가 발생합니다. Orbit의 연계/보조 질문 추천 서비스는 사용자 로그와 대화 맥락을 분석해 질문 간 전후 관계를 파악하고, 실시간으로 연계·보조 질문을 제안함으로써 대화의 흐름과 정보 탐색의 깊이를 강화합니다. 이를 통해 LLM 기반 대화 시스템을 단순한 일회성 응답 엔진에서 연속적이고 목적 지향적인 대화 환경으로 확장합니다.

Orbit Application : Operational Hub

멀티 파운데이션 모델 전환과 서비스 로직 최적화를 지원하는 운영 허브

Orbit Application은 사용자가 직접 마주하는 운영 허브입니다.
가장 기본적으로는 Observability 데이터를 직관적으로 조회하는 것에서 시작합니다. 하지만 여기서 멈추지 않고, 한 단계 더 나아가 멀티 파운데이션 모델 교체 기능을 제공합니다. 예를 들어, GPT API에서 sLM 모델로 전환하거나 특정 상황에 맞는 최적의 모델을 선택하는 작업을 Application에서 손쉽게 수행할 수 있습니다. 또한 Intelligence Layer에서 실행되는 서비스들의 프롬프트 로직을 직접 수정·개편할 수도 있습니다.즉, 단순 모니터링을 넘어 실제 서비스 로직까지 운영자가 직접 관리할 수 있도록 지원합니다.
Orbit Application의 또 다른 중요한 특징은 Pulling 방식의 모델 다운로드입니다. 예를 들어, 저희가 새로운 추천 모델을 제공하면서 “이 모델은 더 가볍고 성능이 뛰어납니다”라고 안내하면, 기업은 Application을 통해 직접 다운로드하여 On-Premise 환경에서 실행할 수 있습니다. Push 방식이 아닌 Pull 방식이기 때문에, 고객이 원하는 시점에 스스로 선택하고 제어할 수 있다는 장점이 있습니다. 결국 Orbit Application은 단순한 UI 도구가 아니라, 모델 교체, 프롬프트 로직 개편, 비용 최적화까지 아우르는 실질적 운영 허브입니다.

Orbit 핵심가치

서비스 품질 고도화

많은 기업들은 Agent를 한 번 만들어두면 시간이 지나도 품질이 크게 개선되지 않는 문제를 겪습니다. 피드백은 쌓이지만, 이것이 자동으로 성능 개선으로 연결되지는 않습니다. Orbit은 다릅니다. Agent 실행 과정에서 발생하는 Observability 데이터를 그대로 품질 강화 자원으로 활용합니다. 이 데이터는 FAQ 생성, 연계 질문, 시나리오 강화와 같은 Intelligence Layer 서비스에 반영되어 스스로 업그레이드됩니다. 즉, 사용자가 Agent를 활용할수록 데이터가 축적되고, 이 데이터가 다시 서비스 품질 향상으로 이어지는 선순환 구조가 형성됩니다. Orbit은 단순히 멈춰 있는 Agent를 운영하는 것이 아니라, 끊임없이 진화하는 Agent 생태계를 제공합니다.

운영 효율과 확장성

기업이 보유한 Observability DB가 저희 솔루션으로 만들어진 것이 아니어도 문제없습니다. DB를 스캔해 테이블만 매핑하면 Orbit Agent가 바로 연결되어 FAQ 생성이나 연계 질문 추천 같은 서비스를 곧바로 활용할 수 있습니다. 이미 LangSmith나 LangFuse 환경에서 DB가 구성되어 있다면 새로운 시스템을 만들 필요 없이 Orbit만 얹으면 됩니다. 기존 환경 그대로 Orbit의 가치를 누릴 수 있습니다. 또한 Orbit은 Mellerikat LLMOps 플랫폼 기반으로 동작하기 때문에 AI 서비스 자동 배포, 간편한 업그레이드, 안정적인 관리까지 지원합니다. 파트너는 빠른 적용과 안전한 확산을 동시에 경험할 수 있습니다.

비용절감

현재 많은 AI 서비스가 GPT API를 기반으로 하고 있지만, 모든 서비스에 반드시 대형 모델이 필요한 것은 아닙니다. 예를 들어, 간단한 FAQ나 연계 질문은 제로샷 프롬프트와 경량화된 언어 모델(sLM)만으로도 충분히 의미 있는 결과를 얻을 수 있습니다. Orbit은 Multi-Foundation Model을 지원하기 때문에 서비스 특성에 맞는 최적의 모델을 쉽게 선택하고 전환할 수 있습니다. 새로운 모델이 개발되면 기업은 Orbit Application을 통해 직접 다운로드하여 온프레미스 환경에서 실행할 수 있습니다. 이는 Push 방식이 아닌 Pull 방식이기 때문에, 기업은 자체 인프라와 보안 정책에 맞춰 도입 시기와 방법을 유연하게 결정할 수 있습니다.
이러한 구조는 단순한 비용 절감을 넘어, 장기적으로 총소유비용(TCO)을 크게 줄이고 기업의 AI 운영을 경제적이고 지속 가능한 방식으로 전환하는 데 기여합니다. 이것이 바로 Orbit이 제공하는 가장 큰 가치입니다.

서비스 아키텍처

스스로 진화하는 AI의 자기 학습 순환 구조

Orbit의 구조는 단순하면서도 강력합니다. 핵심은 두 가지입니다. Orbit Agent와 Orbit Application입니다. 레거시 DB든 최신 DB든 상관없습니다. DB를 스캐닝해 테이블을 매핑하면, Orbit Agent가 곧바로 연결되어 동작합니다. 여기서 중요한 점은 우리 프레임워크가 아니어도 된다는 것입니다. 즉, 파트너가 이미 구축해 둔 DB 위에도 Orbit을 바로 얹어 사용할 수 있습니다. 그리고 Orbit Application이 등장합니다. Application은 운영자가 직접 관리할 수 있는 허브입니다. Agent들의 동작을 제어하고, 간단한 Observability 데이터 조회부터 Foundation 모델 교체, Orbit Agent 프롬프트 로직 개편까지 모두 Application에서 처리할 수 있습니다. Orbit을 설치하면 기본적으로 Orbit Agent와 Application이 함께 구성되며, 백엔드에서는 Mellerikat을 통해 최신 Foundation 모델과 로직 업데이트가 서비스 형태로 제공됩니다. DB → Orbit Agent → Orbit Application → 업그레이드된 서비스 이 단순한 플로우가 바로 Orbit의 핵심입니다.

Orbit Architecture