"AI Agent" 태그로 연결된 7개 게시물개의 게시물이 있습니다.

사용자의 의도를 AI가 명확히 이해할 수 있도록 쿼리 확장​

EVA는 사용자가 입력하는 명령을 기반으로 동작하는 시스템입니다.따라서 EVA가 안정적이고 정확한 판단을 내리기 위해서는 사용자의 요청 내용이 AI가 명확하게 이해할 수 있는 형태로 전달되는 것이 매우 중요합니다

하지만 우리가 일상적으로 사용하는 자연어 표현은 사람에게는 단순하고 명확해 보이더라도, AI 모델 입장에서는 사용자의 명령 해석이 모호하거나 너무 많은 추론을 요구하는 경우가 많습니다. 이러한 간극이 바로 AI 시스템의 오작동이나 부정확한 판단의 원인이 됩니다.

이를 근본적으로 해결하기 위해 EVA에서는 Few-Shot 프롬프팅 기법을 활용하여 사용자의 간단한 요청을 자동으로 구조화된 표현(Structured Query)으로 확장하는 방식을 개발하고 적용했습니다

본 포스트에서는

• 왜 단순한 자연어 요청이 AI에게는 어려운지,
• 어떻게 쿼리 확장을 통해 AI의 이해도를 높일 수 있는지,
• 실제 현장 적용 시 얼마나 성능이 개선되었는지

를 중심으로, 사용자의 의도를 AI가 더 명확하게 이해하도록 만드는 실질적인 방법과 그 효과를 공유하고자 합니다.

들어가며​

"저기 사람이 있어요!" AI 비전 시스템이 자신 있게 보고했습니다. 하지만 화면 속에는 빈 의자와 그 위에 걸쳐진 코트뿐이었습니다.

AI의 사람 인식 기술은 놀랍도록 발전했지만, 화려한 데모 영상과 달리 실제 현장은 훨씬 더 혼란스럽습니다. 특히 우리가 주로 다루는 환경에서는 그 문제가 더 두드러졌습니다.

• 🏢 사무실: 빈 의자와 의자에 걸린 옷들
• 🔬 실험실: 실험복이나 가운이 걸린 공간
• 💼 근무 환경: 회의실, 휴게실 등 사람이 비어 있는 구역

이런 오탐(False Positive)은 단순히 “조금 틀린 결과”가 아니라, 시스템 전체의 신뢰도와 효율성에 직접적인 영향을 줍니다.

예를 들어, 에너지 절약 시스템은 잘못된 인원 수를 기준으로 조명과 냉난방을 제어하고, 보안 시스템은 ‘없는 사람’을 감시하느라 리소스를 낭비할 수도 있습니다.

예시. 빈 의자를 "앉아있는 사람"으로 오인한 사례

Detection과 Exception을 분리해 알람 품질을 끌어올린 실전 아키텍처

CCTV 안전 모니터링, 왜 2-Step Inference가 답이었나
사고는 놓치지 않되, 쓸데없는 알람은 줄이기.

리소스 효율성과 실시간 응답성을 고려하여, Qwen2.5-32B 대신 더 가벼우면서도 경쟁력 있는 모델 아키텍처로 전환하고 2-Step Inference 방식을 도입하였습니다. EVA Beta Test시, Qwen3 8B 모델은 Qwen2.5 32B 모델보다 전반적인 추론 능력은 더 뛰어났지만, 한 번에 여러 가지 답변을 일관성 있게 생성하는 데에는 어려움이 있었고, 사용자 언어에 맞춰 alert response를 출력하는 태스크에서도 한계를 보였습니다.

예를 들어, 실제로는 alert가 True인 상황인데도, 모델이 생성한 alert response에서는 마치 alert가 False인 경우처럼 서술하는 식의 모순이 발생하곤 했습니다. 저희는 이런 식의 long-context inference에 한계가 있는 8B 모델을 더 효과적으로 활용하기 위한 방법으로 2-Step Inference를 설계했습니다.

따라서 본 포스트는 2-Step Inference 아키텍처에 초점을 맞추어, 기존 1-Step Inference의 한계와 2-Step Inference로 Detection과 Exception 판단을 분리했을 때 precision / recall 트레이드오프가 어떻게 변화했는지를 중심으로 정리했습니다.

로봇 AI를 넘어...​

Physical AI라는 개념은 흔히 로봇 기술과 동일시됩니다. 많은 분들이 로봇이라는 물리적 폼팩터가 공간을 자유롭게 이동하고, 인간의 일을 대신 수행하는 미래를 상상하지만, 현실의 기술 발전 속도는 이러한 상상을 구현하기까지 아직 상당한 시간이 필요합니다. 그럼에도 많은 논의가 로봇 중심의 시각에 머물러 있는 것은 아쉬운 일입니다. Physical AI는 로봇이라는 형태로만 구현될 필요가 없으며, 이미 우리 주변에는 물리적 세계와 상호작용할 수 있는 훨씬 다양한 인터페이스가 존재합니다.

서론: Image-Guided Detection의 실용적 구현​

Open-Vocabulary Detection 분야에서 OWL-v2 (Open-World Localization Vision Transformer v2)는 텍스트와 이미지 모두를 프롬프트로 사용할 수 있는 강력한 모델입니다. 특히 "이미지 프롬프트(Visual Prompting)"를 이용한 Image-Guided Detection은, 사용자가 예시 이미지만으로 원하는 객체를 찾게 해주는 강력한 기능입니다.

본 포스트에서는 OWL-v2의 Image-Guided Detection 방법론을 Production 환경에 맞게 구현하며 적용한 핵심 최적화 기법 3가지를 공유합니다.

LLMOps에서 Observability의 메타지능으로의 진화​

LLM 서비스를 제대로 구현하기 위해서는 LLMOps 체계가 필수적입니다. 그 중에서도 observability(o11y) 는 단순 모니터링을 넘어 시스템의 ‘메타지능’ 을 가능하게 하는 핵심 요소로 발전하고 있습니다.

---

o11y가 ‘메타지능’으로 진화하는 과정​

초기 LLM o11y는 토큰 사용량, 응답 시간, 응답 내용, 사용자 피드백 등을 수집해 성능을 모니터링하는 수준에 머물렀습니다. 저희는 Langsmith라는 상용 툴을 도입해 AI 로직의 실행 과정을 모니터링했으며, 이후 Langfuse라는 오픈소스 툴을 함께 통합하여 조직 내부에서 라이선스 유무에 따라 두 제품을 선택적으로 사용할 수 있게 했습니다.

그러나 AI Agent 서비스 이용자가 늘어나면서 쌓이는 데이터가 단순 로그 분석만으로는 의미 있는 통찰을 제공할 수 없다는 사실이 드러났습니다. 이에 우리는 o11y 데이터를 단순한 '관찰 기록'이 아닌 다음 단계로 이끄는 ‘메타지능 도구’ 로 진화시키기로 결정했습니다. 이 시스템은 AI Agent의 리턴값과 사용자 피드백을 바탕으로, 자동으로 질문을 재구성하거나 답변의 품질을 향상시키는 방향으로 모델 행동을 조정할 수 있습니다.

즉, o11y 데이터는 실시간 성능 모니터링을 넘어서, AI Agent 스스로 개선하는 피드백 루프의 핵심 자료가 됩니다.

학술적으로도 이러한 접근은 AgentOps, 또는 Agentic AI 관측 시스템의 핵심으로 주목받고 있습니다. LLM 에이전트의 실행 경로, 내부 로직, 도구 호출, 계획 단계 등 다양한 아티팩트를 추적하는 AgentOps의 전체 관측 프레임워크를 제안하는 움직임도 있고, 블랙박스 평가를 넘어, 에이전트 실행 로그를 기반으로 행위 패턴을 추론하고 최적화하는 새로운 분석 루프의 중요성이 강조되기도 합니다.

배경​

Meraki의 Cloud-Managed Service는 이미 매우 우수한 인프라를 갖추고 있습니다. 이러한 클라우드 플랫폼 위에 다양한 3rd-party 앱, 특히 AI 기반 서비스들이 자유롭게 올라갈 수 있다면, Meraki의 진정한 가치 향상이 실현될 것이라 기대할 수 있습니다.

현재 Meraki Cloud에는 App Store가 존재하며, 일부 앱들이 제공되고 있지만 다음과 같은 한계가 분명하게 드러납니다.

• Meraki Cloud 서비스와의 통합성
  • 앱 설치 및 배포가 제한적입니다. 현재는 일부 파트너사만 공식적으로 앱을 등록할 수 있으며, 설치 과정이 복잡하거나 자동화되어 있지 않습니다.
  • 3rd-party 앱이 Meraki Dashboard와 완전히 통합되어 있지 않아, 사용자 경험이 단절되거나 관리 포인트가 분산되는 문제가 있습니다.
  • API 및 SDK의 제한으로 인해 외부 서비스와의 연동 및 확장성이 충분히 보장되지 않습니다.

Meraki Cloud를 한 단계 업그레이드하고, 3rd-party 앱 생태계의 Best Practice를 제시한다는 측면에서 Meraki Smart Camera와 mellerikat EVA의 결합은 매우 의미 있는 사례가 될 수 있습니다.