"AI Agent" 태그로 연결된 3개 게시물개의 게시물이 있습니다.

LLM 서비스를 제대로 구현하기 위해서는 LLMOps 체계가 필수적입니다. 그 중에서도 observability(o11y) 는 단순 모니터링을 넘어 시스템의 ‘메타지능’ 을 가능하게 하는 핵심 요소로 발전하고 있습니다.

---

o11y가 ‘메타지능’으로 진화하는 과정​

초기 LLM o11y는 토큰 사용량, 응답 시간, 응답 내용, 사용자 피드백 등을 수집해 성능을 모니터링하는 수준에 머물렀습니다. 저희는 Langsmith라는 상용 툴을 도입해 AI 로직의 실행 과정을 모니터링했으며, 이후 Langfuse라는 오픈소스 툴을 함께 통합하여 조직 내부에서 라이선스 유무에 따라 두 제품을 선택적으로 사용할 수 있게 했습니다.

그러나 AI Agent 서비스 이용자가 늘어나면서 쌓이는 데이터가 단순 로그 분석만으로는 의미 있는 통찰을 제공할 수 없다는 사실이 드러났습니다. 이에 우리는 o11y 데이터를 단순한 '관찰 기록'이 아닌 다음 단계로 이끄는 ‘메타지능 도구’ 로 진화시키기로 결정했습니다. 이 시스템은 AI Agent의 리턴값과 사용자 피드백을 바탕으로, 자동으로 질문을 재구성하거나 답변의 품질을 향상시키는 방향으로 모델 행동을 조정할 수 있습니다.

즉, o11y 데이터는 실시간 성능 모니터링을 넘어서, AI Agent 스스로 개선하는 피드백 루프의 핵심 자료가 됩니다.

학술적으로도 이러한 접근은 AgentOps, 또는 Agentic AI 관측 시스템의 핵심으로 주목받고 있습니다. LLM 에이전트의 실행 경로, 내부 로직, 도구 호출, 계획 단계 등 다양한 아티팩트를 추적하는 AgentOps의 전체 관측 프레임워크를 제안하는 움직임도 있고, 블랙박스 평가를 넘어, 에이전트 실행 로그를 기반으로 행위 패턴을 추론하고 최적화하는 새로운 분석 루프의 중요성이 강조되기도 합니다.

---

Mellerikat ‘메타지능 o11y’ 모델 구조​

우리가 생각하고 만들어가는 o11y 메타지능화 전략은 다음과 같은 흐름으로 구성되어 있습니다.

1. Trace 기반 실행 기록 Langsmith와 Langfuse를 통해 LLM 호출, 내부 계획, 토큰 사용량, 응답, 피드백 등을 trace session 단위로 캡처합니다.

2. 실시간 이상 탐지 및 피드백 루프 지연 시간이나 Hallucination 같은 오류가 감지되면 즉각적으로 알림과 자동 리포트가 생성되며, 사용자 피드백에 따라 자동 태깅 체계가 작동합니다.

3. 메타 레이어 추론 엔진 수집된 데이터를 바탕으로 "어떤 질문이 더 적절한가?" 혹은 "답변을 어떻게 재구성해야 더 효과적인가?"와 같은 지능적 제안이 이루어집니다.

4. 프롬프트 자동 조정 및 배포 메타지능 엔진이 프롬프트를 자동 수정하고, 변경된 로직은 CI/CD 파이프라인을 통해 실시간 적용됩니다.

이 구조는 기존 LLM 로직을 사용자가 직접 튜닝하는 것에서 나아가, 시스템 스스로가 지속적으로 개선 방향을 제시하고 실행하는 메타지능을 목표로 합니다.

오늘날 LLM 기반 AI 에이전트는 단순한 ‘응답 생성기’ 를 넘어 에이전트형 AI, 즉 자율 추론, 계획, 실행이 가능한 시스템으로 진화하고 있습니다. 이 과정에서 o11y는 모니터링을 넘어서 스스로 학습하는 메타지능의 핵심 인프라가 됩니다. 결국, 단순한 o11y를 넘어서 AI Agent가 스스로 진화하는 패러다임, 즉 지속 개선되는 '지속 학습형 Agent 서비스' 로의 전환에 핵심이 되는 것이 바로 o11y라고 생각합니다.

Mellerikat o11y의 자세한 사항은 링크를 참고하세요.

EVA, Cisco Live 2025에서 Multi-modal LLM 기반 AI 서비스로 혁신을 선보이다​

Cisco Live 2025, 2025년 6월 8일-12일, 센디에고

Mellerikat은 2025년 Cisco Live 2025에 참가하여 전 세계 고객과 파트너들에게 Multi-modal LLM(대규모 언어 모델)을 활용한 혁신적인 AI 서비스, Mellerikat EVA를 선보이는 뜻깊은 기회를 가졌습니다. 네트워킹, 보안, AI 기술의 최전선을 공유하는 이 글로벌 행사에서, Mellerikat은 독창적인 아키텍처를 통해 비용 효율적인 AI 솔루션을 구현한 데모를 선보이며 참관객들의 뜨거운 호응과 공감을 얻었습니다.올해 Cisco Live는 Cisco의 Splunk 인수 이후 첫 대규모 행사로, AI와 데이터 분석의 통합된 미래를 조명하는 자리였습니다. Mellerikat은 데모 부스를 통해 Mellerikat EVA, Cisco Meraki Camera, 그리고 Splunk Instance를 결합한 Multi-modal LLM 기반 솔루션을 공개하며, 산업 현장에서의 실질적인 AI 활용 가능성을 제시했습니다. 특히, 우리의 독창적인 아키텍처가 Multi-modal LLM 운영 비용을 대폭 절감했다는 점은 많은 참관객들에게 깊은 인상을 남겼습니다

---

Mellerikat EVA와 Meraki Camera의 Multi-modal LLM 기반 통합​

저희 데모 부스에서는 Multi-modal LLM을 활용한 Mellerikat EVA와 Cisco Meraki Camera를 결합한 AI 서비스를 선보였습니다. 이 솔루션은 실시간으로 관람객을 감지하고, 특정 옷을 착용한 사람을 식별하여 알람을 전송하는 시나리오를 구현했습니다. Mellerikat EVA는 이미지(카메라 데이터)와 텍스트 데이터를 동시에 처리하는 Multi-modal LLM의 강점을 활용해 높은 정확도의 탐지를 수행했으며, 그 결과는 Splunk Instance에 실시간으로 시각화되어 솔루션의 확장성과 실시간 분석 능력을 생생히 보여주었습니다.

• 핵심 시나리오: Meraki Camera가 촬영한 영상에서 특정 옷을 착용한 사람을 EVA가 분석하여 알람을 생성하고, Splunk Instance에 결과를 대시보드 형태로 즉각 표시.
• 비용 효율성: Multi-modal LLM은 상업적으로 활용하기 어려운 고비용 기술로 알려져 있습니다. 그러나 Mellerikat은 독창적인 아키텍처를 통해 Multi-modal LLM 운영 비용을 대폭 절감, 산업 적용 가능성을 크게 높였습니다.
• 참관객 반응: 참관객들은 비용 절감과 실시간 분석의 결합이 보안, 소매, 공공 안전 등 다양한 산업에 미칠 수 있는 실질적인 가치를 높이 평가하며 큰 공감을 표했습니다.

이 데모는 Mellerikat EVA가 Cisco의 네트워크 인프라와 Splunk의 데이터 분석 플랫폼을 어떻게 결합하여 효율적이고 강력한 AI 서비스를 제공하는지를 보여주는 대표 사례였습니다.

---

Meraki와의 기술적 파트너십 강화​

Cisco Live 2025에서 Mellerikat은 Cisco Meraki팀과 진행한 논의에서 Meraki의 AI 기능을 강화하기 위해 Mellerikat EVA의 Multi-modal LLM 기반 기술이 필수적이라는 공감대를 형성했습니다. 특히, Meraki Camera와 EVA의 통합이 비용 효율적인 AI 서비스를 통해 네트워크 및 보안 솔루션에 새로운 차원의 지능을 더할 수 있음을 확인했습니다.

• 성과: 양측은 Mellerikat EVA를 Meraki 플랫폼에 더욱 밀접히 통합하여, 향후 협력을 구체화하기로 합의했습니다.
• 미래 전망: Meraki의 클라우드 기반 네트워크 관리와 Mellerikat의 비용 효율적인 Multi-modal LLM 기술을 결합해 스마트 빌딩, 소매, 물류 등 다양한 산업에서 혁신적인 솔루션을 제공할 계획입니다.

이번 논의는 Mellerikat과 Cisco Meraki 간의 파트너십을 강화하며, 글로벌 시장에서의 협업 가능성을 크게 확장했습니다.

---

평택 디지털파크 사례: CDA 최우수 사례로 주목받다​

Mellerikat은 Cisco Live 2025에서 자사의 평택 디지털파크 CDA(Country Digital Acceleration) 사례를 소개하며 큰 주목을 받았습니다. 평택에서 Mellerikat EVA를 적용한 이 사례는 제조 현장에서 작업자들의 안전 상태를 실시간으로 탐지하고, 알림 메시지를 통해 즉각적인 의사결정을 가능하게 한 성공 사례입니다. 이 사례는 CDA 최우수 사례로 선정되어 많은 참관객들의 관심을 끌었습니다.

• 사례 개요: 평택 디지털파크에 적용한 EVA를 통해 작업자의 안전 상태를 점검하고 즉각적인 알람 메시지를 전송하여 운영 효율성을 극대화. 독창적인 아키텍처로 Multi-modal LLM의 운영 비용을 대폭 절감.
• 참관객 반응: 참관객들은 비용 절감과 높은 성능을 동시에 제공하는 EVA의 산업 적용 가능성에 깊이 공감하며, 제조, 물류, 스마트 팩토리 등 다양한 분야에서의 활용 사례에 큰 관심을 보였습니다. 최우수 사례 선정은 Mellerikat의 EVA가 산업 현장에서 실질적인 가치를 창출할 수 있음을 입증하는 계기가 되었습니다.

---

끊임없는 혁신의 시작​

Cisco Live 2025는 Mellerikat의 Multi-modal LLM 기반 AI 서비스, EVA를 세계 무대에 알리는 소중한 기회였습니다. 상업적으로 활용이 어려운 Multi-modal LLM 기술을 독창적인 아키텍처로 비용 효율적으로 구현한 Mellerikat의 역량은 참관객들에게 큰 공감을 얻으며 깊은 인상을 남겼습니다. Mellerikat EVA, Cisco Meraki Camera, Splunk Instance의 통합은 디지털 전환의 새로운 가능성을 제시했으며, Meraki 및 Splunk와의 협업 논의는 향후 혁신의 기반을 다졌습니다.이번 행사는 시작에 불과합니다. Mellerikat은 Cisco와 Splunk와의 긴밀한 파트너십을 통해, 네트워크, 보안, 데이터 분석의 경계를 넘어서는 첨단 AI 서비스를 지속적으로 개발할 것입니다. Cisco Live 2025에서 만난 열정적인 참관객들의 공감과 피드백은 우리에게 큰 영감을 주었으며, 이를 바탕으로 더 나은 기술과 가치를 제공하겠습니다.

배경​

Meraki의 Cloud-Managed Service는 이미 매우 우수한 인프라를 갖추고 있습니다. 이러한 클라우드 플랫폼 위에 다양한 3rd-party 앱, 특히 AI 기반 서비스들이 자유롭게 올라갈 수 있다면, Meraki의 진정한 가치 향상이 실현될 것이라 기대할 수 있습니다.

현재 Meraki Cloud에는 App Store가 존재하며, 일부 앱들이 제공되고 있지만 다음과 같은 한계가 분명하게 드러납니다.

• Meraki Cloud 서비스와의 통합성
  • 앱 설치 및 배포가 제한적입니다. 현재는 일부 파트너사만 공식적으로 앱을 등록할 수 있으며, 설치 과정이 복잡하거나 자동화되어 있지 않습니다.
  • 3rd-party 앱이 Meraki Dashboard와 완전히 통합되어 있지 않아, 사용자 경험이 단절되거나 관리 포인트가 분산되는 문제가 있습니다.
  • API 및 SDK의 제한으로 인해 외부 서비스와의 연동 및 확장성이 충분히 보장되지 않습니다.

Meraki Cloud를 한 단계 업그레이드하고, 3rd-party 앱 생태계의 Best Practice를 제시한다는 측면에서 Meraki Smart Camera와 mellerikat EVA의 결합은 매우 의미 있는 사례가 될 수 있습니다.

---

Meraki Smart Camera & Cloud 이해​

Meraki Smart Camera와 Cloud는 기본적으로 매우 뛰어난 서비스 조합을 이룹니다. Meraki Camera는 단순한 CCTV가 아니라, 네트워크 및 보안 인프라와 유기적으로 통합된 스마트 영상 플랫폼을 지향합니다.

Meraki Camera의 주요 특징​

• All-in-one 구조 Meraki 카메라는 별도의 NVR(Network Video Recorder) 없이 자체 저장장치(SSD 또는 SD 카드)를 내장하고 있으며, 전원과 네트워크 연결을 위한 PoE(Power over Ethernet)를 지원합니다.

• 클라우드 관리 기반 모든 설정, 운영, 유지보수는 Meraki Dashboard(웹 기반 UI)를 통해 중앙에서 관리할 수 있습니다. 현장 방문 없이도 실시간으로 카메라 상태를 모니터링하고 구성을 변경할 수 있습니다.

• 지능형 분석 기능 모션 기반 이벤트 감지, 인물 탐지, 영역별 분석(예: 히트맵, 체류 시간 등) 기능을 제공하여 단순 감시를 넘어 공간 운영에 인사이트를 제공합니다.

• End-to-end 보안 저장된 영상 데이터는 암호화되어 전송되며, Cisco Meraki의 보안 체계 하에 관리됩니다. 사용자 권한 기반 접근 제어와 감사 로그도 지원됩니다.

---

Meraki Camera Cloud의 주요 가치​

• 중앙 집중형 관리 전 세계 어디에 설치된 카메라도 단일 Meraki Cloud에서 통합 관리할 수 있습니다. 대규모 다지점 기업이나 글로벌 체인을 운영하는 조직에 특히 유리합니다.

• 즉시 접근 가능한 영상 모든 영상은 카메라 내에 저장되지만, 필요 시 클라우드를 통해 언제 어디서나 빠르게 스트리밍이 가능합니다. 특정 이벤트나 시간대의 영상 검색이 빠르고 직관적으로 이루어집니다.

• 스마트 검색 및 분석 기능 타임라인 기반의 모션 검색, 인물 감지 기반 탐색, 카메라 간 이벤트 추적을 통해 영상 확인에 소요되는 시간을 대폭 줄여줍니다.

• HW 유지보수 효율성 카메라 펌웨어 업데이트가 자동으로 적용되며, 이상 상태나 장애 발생 시 알림을 통해 선제적으로 대응할 수 있습니다.

---

True Smart Meraki Camera​

이처럼 우수한 인프라가 구축되어 있지만, 이제는 한 단계 더 나아가 고객에게 실질적인 가치를 제공하는
'True Smart'에 대해 고민해야 할 시점입니다.

• 더 다양한 상황을 인식하고, 더 깊이 이해할 수 있어야 합니다.
• 사용자 맞춤형 상황 인식이 가능해야 하며, 인식된 정보를 기반으로 사용자가 원하는 다음 액션을 자동으로 실행할 수 있어야 합니다.
• 데이터의 이동, 저장, 활용 체계를 효과적으로 설정하여 비용 효율성을 높일 수 있어야 합니다.

이러한 과정을 LLM(대형언어모델)을 통해 쉽게 관리하고 제어할 수 있어야 합니다.

예를 들어, 특정 이벤트(예: 위험 상황, 혼잡, VIP 방문 등)를 자동으로 인식하고, 인식된 이벤트에 따라 알림, 자동 문 개방, 조명 제어 등 후속 액션을 자동화할 수 있습니다. 또한, 영상 데이터의 저장/이동 정책을 AI가 추천하거나 자동으로 최적화할 수 있으며, LLM 기반의 자연어 인터페이스를 통해 "오늘 매장에 가장 오래 머문 고객을 알려줘"와 같은 질의도 손쉽게 처리할 수 있습니다.

---

mellerikat EVA + Meraki Camera​

Meraki Camera의 'True Smart'를 실현하는 방안으로 mellerikat EVA를 제안합니다.
EVA는 다음과 같은 서비스를 제공하는 Vision AI 솔루션입니다.

Meraki + EVA의 특징 및 사용자 서비스 시나리오​

• 실시간 고도화된 AI 분석 Meraki 카메라에서 수집된 영상을 EVA가 실시간으로 분석하여 사람, 차량, 객체 인식, 행동 분석, 위험 상황 감지 등 다양한 AI 서비스를 제공합니다.

• 클라우드 기반 손쉬운 배포 별도의 하드웨어 추가 없이, Meraki Cloud와 EVA의 연동만으로 AI 기능을 즉시 활성화할 수 있습니다.

• 사용자 맞춤형 서비스 사용자가 원하는 이벤트(예: 특정 구역 내 침입, 대기열 길이, 고객 행동 패턴 등)를 손쉽게 정의하고, EVA가 이를 자동으로 인식 및 알림을 제공합니다.

• 데모 시나리오 예를 들어, 매장 내 혼잡도가 증가하면 자동으로 관리자에게 알림을 보내고, 동시에 조명/음향 시스템과 연동하여 안내 메시지를 송출하는 등 실제 운영에 바로 적용할 수 있는 시나리오를 구현할 수 있습니다.

---

mellerikat EVA​

EVA는 mellerikat의 다양한 기술 컴포넌트와 결합하여 AI 서비스를 위한 강력한 기술 플랫폼으로 완성되었습니다.

Backend의 기술적 특장점​

• 모듈형 AI 엔진 객체 탐지, 행동 인식, 얼굴/번호판 인식 등 다양한 AI 모듈을 필요에 따라 조합하여 적용할 수 있습니다.

• 지속적인 고품질 서비스 새로운 모델을 손쉽게 배포하고 활용하여, 지속적으로 고성능의 서비스를 제공합니다.

• Auto-Scaling 및 분산처리 클라우드 네이티브 구조로, 영상 분석 workload에 따라 자동으로 리소스를 확장/축소할 수 있습니다.

• API/SDK 기반 확장성 RESTful API, Webhook, SDK 등을 통해 외부 시스템(ERP, POS, IoT 등)과 손쉽게 연동할 수 있습니다.

• No-Code/Low-Code 인터페이스 비전문가도 손쉽게 AI 분석 시나리오를 설계·운영할 수 있는 직관적인 UI를 제공합니다.

---

mellerikat EVA와 Meraki의 협력의 중요성​

EVA는 여러 카메라 업체와 직접 제휴하여 서비스를 제공할 수도 있습니다. 클라우드 기반 SaaS형 서비스로 운영하거나, 카메라 하드웨어 업체와 협력하여 화이트라벨링 형태로 제공하는 것도 가능합니다. 또한, 카메라 업체가 자체적으로 구축·운영하는 클라우드 또는 온프레미스 환경에 EVA 솔루션만 설치하여 운영할 수도 있습니다.

하지만 이러한 방식은 초기 서비스 구축 및 운영 과정에서 규모의 경제를 실현하기 어렵다는 한계가 있습니다.

• Meraki는 이미 글로벌하게 확장된 클라우드 인프라와 대규모 고객 기반을 보유하고 있습니다.
• Meraki Cloud와 EVA의 결합을 통해, 별도의 인프라 구축 없이 즉시 대규모 서비스 론칭 및 확장이 가능합니다.
• Meraki의 App Store 및 API 생태계를 활용하여, EVA의 배포, 운영, 업데이트가 자동화되고, 고객 접근성이 극대화됩니다.
• 이를 통해 카메라에 AI를 도입하는 과정에서 비용이 장애물이 되지 않으며, Meraki와의 협력은 Vision AI 서비스의 글로벌 표준을 선도할 수 있는 기회가 됩니다.

---

Beyond AI​

EVA는 단순히 AI 기능을 제공하는 것을 넘어, 카메라(Vision)를 통해 실현할 수 있는 다양한 가능성을 담아내는 기술 플랫폼으로 성장하고자 합니다.

• 사용자는 원하는 카메라에 원하는 상황을 학습시켜 인식하게 할 수 있습니다.
• 상황 인식을 바탕으로 필요한 다음 행동을 연결(MCP)할 수 있습니다.
• 이러한 일련의 과정이 유기적으로 연결된 기술 플랫폼 위에서 효과적으로 관리됩니다.

인간의 행동을 단순하게 표현하면 ‘인식 → 행동’으로 요약할 수 있습니다. 이 과정이 몸이라는 유기적으로 연결된 플랫폼 위에서 다양한 물리적 채널을 통해 일어나는 것과 유사합니다. EVA는 이와 같은 유기적 플랫폼을 기술적으로 구현하는 방향으로 발전하고 있습니다.

---

EVA의 비전: Smart Camera 시장의 AWS를 지향​

EVA는 온프레미스 중심의 CCTV 시장을 클라우드 서비스 시장으로 전환하고자 합니다. 수많은 Vision 센서들이 유기적으로 연결된 플랫폼 위에서 스마트하게 동작하며, 이 플랫폼 위에서 공상과학영화에서 보던 다양한 인식-행동 시나리오가 서비스로 구현되고 엮일 수 있는 미래를 지향합니다.