"Gen AI" 태그로 연결된 3개 게시물개의 게시물이 있습니다.

LLMOps에서 Observability의 메타지능으로의 진화​

LLM 서비스를 제대로 구현하기 위해서는 LLMOps 체계가 필수적입니다. 그 중에서도 observability(o11y) 는 단순 모니터링을 넘어 시스템의 ‘메타지능’ 을 가능하게 하는 핵심 요소로 발전하고 있습니다.

---

o11y가 ‘메타지능’으로 진화하는 과정​

초기 LLM o11y는 토큰 사용량, 응답 시간, 응답 내용, 사용자 피드백 등을 수집해 성능을 모니터링하는 수준에 머물렀습니다. 저희는 Langsmith라는 상용 툴을 도입해 AI 로직의 실행 과정을 모니터링했으며, 이후 Langfuse라는 오픈소스 툴을 함께 통합하여 조직 내부에서 라이선스 유무에 따라 두 제품을 선택적으로 사용할 수 있게 했습니다.

그러나 AI Agent 서비스 이용자가 늘어나면서 쌓이는 데이터가 단순 로그 분석만으로는 의미 있는 통찰을 제공할 수 없다는 사실이 드러났습니다. 이에 우리는 o11y 데이터를 단순한 '관찰 기록'이 아닌 다음 단계로 이끄는 ‘메타지능 도구’ 로 진화시키기로 결정했습니다. 이 시스템은 AI Agent의 리턴값과 사용자 피드백을 바탕으로, 자동으로 질문을 재구성하거나 답변의 품질을 향상시키는 방향으로 모델 행동을 조정할 수 있습니다.

즉, o11y 데이터는 실시간 성능 모니터링을 넘어서, AI Agent 스스로 개선하는 피드백 루프의 핵심 자료가 됩니다.

학술적으로도 이러한 접근은 AgentOps, 또는 Agentic AI 관측 시스템의 핵심으로 주목받고 있습니다. LLM 에이전트의 실행 경로, 내부 로직, 도구 호출, 계획 단계 등 다양한 아티팩트를 추적하는 AgentOps의 전체 관측 프레임워크를 제안하는 움직임도 있고, 블랙박스 평가를 넘어, 에이전트 실행 로그를 기반으로 행위 패턴을 추론하고 최적화하는 새로운 분석 루프의 중요성이 강조되기도 합니다.

배경​

Meraki의 Cloud-Managed Service는 이미 매우 우수한 인프라를 갖추고 있습니다. 이러한 클라우드 플랫폼 위에 다양한 3rd-party 앱, 특히 AI 기반 서비스들이 자유롭게 올라갈 수 있다면, Meraki의 진정한 가치 향상이 실현될 것이라 기대할 수 있습니다.

현재 Meraki Cloud에는 App Store가 존재하며, 일부 앱들이 제공되고 있지만 다음과 같은 한계가 분명하게 드러납니다.

• Meraki Cloud 서비스와의 통합성
  • 앱 설치 및 배포가 제한적입니다. 현재는 일부 파트너사만 공식적으로 앱을 등록할 수 있으며, 설치 과정이 복잡하거나 자동화되어 있지 않습니다.
  • 3rd-party 앱이 Meraki Dashboard와 완전히 통합되어 있지 않아, 사용자 경험이 단절되거나 관리 포인트가 분산되는 문제가 있습니다.
  • API 및 SDK의 제한으로 인해 외부 서비스와의 연동 및 확장성이 충분히 보장되지 않습니다.

Meraki Cloud를 한 단계 업그레이드하고, 3rd-party 앱 생태계의 Best Practice를 제시한다는 측면에서 Meraki Smart Camera와 mellerikat EVA의 결합은 매우 의미 있는 사례가 될 수 있습니다.

특화 지능: 일반 지능을 넘어 비즈니스 혁신의 열쇠​

디지털 혁명 이후 인공지능(AI)은 빠른 속도로 발전하며 우리의 일상과 산업 전반에 혁신을 가져왔습니다. 특히 생성형 AI(Gen AI) 의 등장으로 누구나 쉽게 AI 기술을 활용할 수 있게 되었지만, 이로 인해 다양한 도전 과제도 함께 나타났습니다. 모든 분야에서 완벽하게 작동하는 만능 AI는 이상적인 목표이지만, 현실에서는 각 분야에 맞춘 특화 지능이 더 큰 가치를 지닐 수 있습니다.

생성형 AI는 일반지능(General Intelligence, AGI)에 가까운 특성을 지니고 있으며, 이는 다양한 과업을 수행할 수 있는 능력을 의미합니다. 이러한 Gen AI의 능력은 특정한 문제를 해결하기 위해 특화된 인공지능 기술과는 상반되며, 다양한 상황과 맥락에서 유용하게 작동할 수 있는 범용성을 제공합니다.

인공지능 분야에서 인공 일반 지능(AGI)은 놀라운 속도로 발전하고 있습니다. 이러한 발전은 분명 인상적이지만, 가장 높은 수준의 일반 지능을 추구하는 것은 때때로 지나치게 야심 차고 비현실적인 노력처럼 보일 수 있습니다. 대신, 진정한 가치는 특정 분야 내에서 문제를 해결하기 위해 도메인 특화 지능을 개발하고 활용하는 데 있습니다. 이는 특정 작업과 상황에 맞춘 전문 지식과 역량을 의미합니다.

특화 지능 기술은 각 산업과 용도에 맞춰 최적화된 모델을 제공함으로써 기업이 직면한 복잡한 문제를 효과적으로 해결할 수 있도록 지원합니다. 일반적인 AI와 달리, 특화 지능은 특정 도메인의 고유한 데이터와 패턴을 깊이 이해하여 최선의 결과를 도출합니다. 이러한 접근 방식은 시간이 지남에 따라 더 높은 품질의 예측과 분석을 가능하게 하여 비즈니스 가치의 극대화를 돕습니다. Mellerikat은 이러한 특화 지능을 쉽게 구축하고 운영할 수 있도록 지원하여, 기업이 전문 지식을 효과적으로 활용할 수 있게 합니다.

대규모 언어 모델(LLM)은 다양한 비즈니스 관련 뉴스 데이터를 수집하고 요약하여 특정 주제에 대한 정보를 제공할 수 있습니다. 그러나 구리 가격이 향후 상승할지 하락할지를 예측하는 것은 LLM의 능력을 넘어서는 일입니다. 이 작업은 구리 가격 책정 전문가의 전문 지식을 통합한 예측 머신러닝(ML) 엔진과 같은 도메인 특화 지능을 필요로 합니다.