Observability

AI 서비스는 이제 단순히 개발하는 것을 넘어, 어떻게 작동하고, 얼마나 효율적으로 운영되는지가 경쟁력이 됩니다. Observability는 LangSmith와 LangFuse를 단일 Wrapper로 통합하여, 실행 로그부터 응답 품질까지 정밀하게 추적하고, LLM 서비스의 전체 흐름과 병목을 분석 가능하게 합니다. 그리고, 거기서 끝나지 않습니다. FAQ 추천, 프롬프트 최적화, 지능형 제안까지, 운영을 넘어 인텔리전스로 확장합니다.

서비스 시나리오

데이터 수집에서 인텔리전스까지

운영 흐름을 연결하고, 데이터를 해석하며, AI 서비스의 품질을 스스로 개선하는 강력한 서비스 파트너

Solution

Seamless한 호환 - LangSmith와 LangFuse를 하나의 Wrapper로

제공하는 Wrapper는 단 한 줄의 Flag 설정만으로 LangSmith와 LangFuse 간 자유로운 전환을 가능하게 합니다. 각 LLM Logic마다 별도 구현 없이, Decorator 하나면 Observability 연동이 완료됩니다. 복잡한 설정 없이, 지금 운영 중인 서비스에도 바로 Observability 기능을 적용할 수 있습니다. 이제 실행 흐름을 수집하고 분석하는 준비를 몇 분 안에 끝낼 수 있습니다.

Observability Tracing Data

표준화된 데이터 허브 - LLM 서비스 흐름 전반을 세션 단위로 정밀하게 수집

Observability는 단순히 로그를 저장하는 시스템이 아닙니다. 우리는 실행 로그, 프롬프트, 응답, 사용자 피드백 등 모든 실행 요소를 표준화된 포맷으로 통합 수집하며, 이를 세션 단위로 구조화하여 LLM 서비스 실행 흐름을 하나의 맥락 단위로 이해 가능하게 만듭니다.
단일 Agent 수준의 관찰을 넘어, 서비스 전체의 실행 패턴과 응답 맥락을 추론 가능한 구조로 정제하며, 이 구조는 이후 분석과 인텔리전스 기능의 기반이 됩니다.

Analytics

수집 데이터 기반 실시간 분석 및 운영 진단

수집된 데이터는 실시간 운영 지표로 가공됩니다. 세션 기반 흐름에서 Latency, Token Usage, Response Quality, Cost 등을 추출하고 각 항목을 모니터링 대시보드로 시각화합니다. - 요청부터 응답까지 걸린 시간 측정으로 속도 병목 구간 자동 감지 - 토큰 사용량과 가격 정보를 기반으로 리소스 소모 분석 - 사용자 피드백과 응답 일치도 기반 응답 품질 평가 단순 모니터링을 넘어, 문제의 위치를 빠르게 식별하고 운영 비용 최적화를 실현합니다.

Intelligence

실행 데이터를 지능으로 확장

관찰된 데이터를 바탕으로, AI가 스스로 질문을 추천합니다. 우리가 수집하고 분석한 Observability 데이터를 기반으로, 자주 묻는 질문(FAQ)을 자동 추천하고, 연계 질문을 생성하며, 서비스 개선을 위한 프롬프트 제안까지 자동으로 수행하는 지능형 기능으로 확장됩니다. 이 기능은 단순 추천이 아닌, 실제 유저의 질문 로그, 응답 내용, 피드백의 상관관계를 분석하여 가장 유의미한 질문을 도출합니다. 이러한 Intelligence 기능은 실제 운영 중인 Agent의 챗봇 화면에 Plugin 형태로 삽입되며, Toggle 버튼 하나로 자동 추천 On/Off 제어가 가능합니다.

왜 지금 Observability인가?

운영의 눈을 갖추는 것은 더 이상 선택이 아닌 필수입니다 - LLM 서비스의 품질은 더 이상 정성 평가로 설명되지 않습니다. - 운영의 흐름, 리소스 소모, 사용자 반응까지 모든 것이 수치화되고, - 수치화된 데이터를 바탕으로 자동화된 판단이 가능한 서비스만이 확장 가능한 AI 서비스가 될 수 있습니다.

서비스 아키텍처

Observability 중심 AI 서비스의 데이터 흐름과 지능형 확장 구조

Observability는 AI Agent 서비스에서 발생하는 모든 실행 데이터를 중앙에서 수집·분석하고, 이 데이터를 기반으로 실시간 모니터링과 지능형 기능 확장을 가능하게 하는 핵심 허브 역할을 합니다. Agent 단에서 발생한 프롬프트, 응답, 사용자 피드백은 Wrapper를 통해 표준화된 형태로 Observability에 전달되며, Solution → Data → Analytics 단계에 따라 세션 단위로 정제되고 분석됩니다.여기서 생성된 데이터는 Auto FAQ Generation, Follow-up Suggestion, Prompt Optimization 등 지능형 Intelligence 서비스로 확장되어 Agent에 다시 피드백되며, 실제 챗봇 화면에 Plugin 형태로 적용됩니다.

전체 구조는 AI Logic Deployer와 AI Conductor를 통해 Docker, Istio, API 등 인프라 환경과 안정적으로 연결되어 확장성과 운영 효율을 동시에 확보합니다.