사용자의 의도를 AI가 명확히 이해할 수 있도록 쿼리 확장​

EVA는 사용자가 입력하는 명령을 기반으로 동작하는 시스템입니다.따라서 EVA가 안정적이고 정확한 판단을 내리기 위해서는 사용자의 요청 내용이 AI가 명확하게 이해할 수 있는 형태로 전달되는 것이 매우 중요합니다

하지만 우리가 일상적으로 사용하는 자연어 표현은 사람에게는 단순하고 명확해 보이더라도, AI 모델 입장에서는 사용자의 명령 해석이 모호하거나 너무 많은 추론을 요구하는 경우가 많습니다. 이러한 간극이 바로 AI 시스템의 오작동이나 부정확한 판단의 원인이 됩니다.

이를 근본적으로 해결하기 위해 EVA에서는 Few-Shot 프롬프팅 기법을 활용하여 사용자의 간단한 요청을 자동으로 구조화된 표현(Structured Query)으로 확장하는 방식을 개발하고 적용했습니다

본 포스트에서는

• 왜 단순한 자연어 요청이 AI에게는 어려운지,
• 어떻게 쿼리 확장을 통해 AI의 이해도를 높일 수 있는지,
• 실제 현장 적용 시 얼마나 성능이 개선되었는지

를 중심으로, 사용자의 의도를 AI가 더 명확하게 이해하도록 만드는 실질적인 방법과 그 효과를 공유하고자 합니다.

이번 글에서는 EVA에서 LLM 서비스를 제공하기 위해 최적화한 과정을 알아보려 합니다. EVA에 맞게 LLM을 서빙하기 위해 vLLM을 도입한 사례 및 서빙 핵심 기술을 구체적으로 설명합니다.

---

1. GPU 리소스 효율화의 필요성​

처음 LLM을 쓸 때 대부분은 GPT / Gemini / Claude 같은 클라우드 LLM부터 접하게 됩니다. 모델 운영에 대한 걱정 없이 성능이 가장 좋은 최신 모델을 url과 api key만 있으면 누구나 사용할 수 있기 때문입니다. 하지만 API 사용 비용이 지속적으로 발생하고 데이터가 외부로 전송되기에 개인 정보나 사내 문서 등 보안에 대한 위험성을 동반합니다. 조금만 스케일이 커지면 자연스레 이런 생각이 듭니다.

“이 정도면 그냥 우리 서버에 모델 올려서 쓰는 게 낫지 않나…?”

로컬 환경에서 쓸 수 있는 LLM도 Alibaba의 Qwen, Meta의 LLaMA 등 다양한 모델이 있습니다. 오픈 소스인 LLM이 많은 만큼 최신 성능의 새로운 모델이 빠르게 출시되며 선택의 폭이 굉장히 넓습니다. 하지만 이를 서비스에 적용하기 위해서는 여러가지 문제점이 있습니다.

먼저 LLM을 그냥 돌리면 추론 속도가 너무 느립니다. 이는 autoregressive 모델인 LLM의 특성 때문입니다. 추론 속도를 획기적으로 줄일 수 있는 KV Cache, Paged Attention 등의 다양한 기술이 있습니다. 이러한 개념들을 적용한 오픈소스가 여러 가지가 있는데 EVA는 vLLM을 사용합니다. 여러 오픈소스마다 각 각 지원하는 모델 범위가 다르고 사용 편의성에서도 큰 차이를 보입니다. 이제부터 EVA가 왜 vLLM을 사용했는지 알아보겠습니다.

들어가며​

"저기 사람이 있어요!" AI 비전 시스템이 자신 있게 보고했습니다. 하지만 화면 속에는 빈 의자와 그 위에 걸쳐진 코트뿐이었습니다.

AI의 사람 인식 기술은 놀랍도록 발전했지만, 화려한 데모 영상과 달리 실제 현장은 훨씬 더 혼란스럽습니다. 특히 우리가 주로 다루는 환경에서는 그 문제가 더 두드러졌습니다.

• 🏢 사무실: 빈 의자와 의자에 걸린 옷들
• 🔬 실험실: 실험복이나 가운이 걸린 공간
• 💼 근무 환경: 회의실, 휴게실 등 사람이 비어 있는 구역

이런 오탐(False Positive)은 단순히 “조금 틀린 결과”가 아니라, 시스템 전체의 신뢰도와 효율성에 직접적인 영향을 줍니다.

예를 들어, 에너지 절약 시스템은 잘못된 인원 수를 기준으로 조명과 냉난방을 제어하고, 보안 시스템은 ‘없는 사람’을 감시하느라 리소스를 낭비할 수도 있습니다.

예시. 빈 의자를 "앉아있는 사람"으로 오인한 사례

Detection과 Exception을 분리해 알람 품질을 끌어올린 실전 아키텍처

CCTV 안전 모니터링, 왜 2-Step Inference가 답이었나
사고는 놓치지 않되, 쓸데없는 알람은 줄이기.

리소스 효율성과 실시간 응답성을 고려하여, Qwen2.5-32B 대신 더 가벼우면서도 경쟁력 있는 모델 아키텍처로 전환하고 2-Step Inference 방식을 도입하였습니다. EVA Beta Test시, Qwen3 8B 모델은 Qwen2.5 32B 모델보다 전반적인 추론 능력은 더 뛰어났지만, 한 번에 여러 가지 답변을 일관성 있게 생성하는 데에는 어려움이 있었고, 사용자 언어에 맞춰 alert response를 출력하는 태스크에서도 한계를 보였습니다.

예를 들어, 실제로는 alert가 True인 상황인데도, 모델이 생성한 alert response에서는 마치 alert가 False인 경우처럼 서술하는 식의 모순이 발생하곤 했습니다. 저희는 이런 식의 long-context inference에 한계가 있는 8B 모델을 더 효과적으로 활용하기 위한 방법으로 2-Step Inference를 설계했습니다.

따라서 본 포스트는 2-Step Inference 아키텍처에 초점을 맞추어, 기존 1-Step Inference의 한계와 2-Step Inference로 Detection과 Exception 판단을 분리했을 때 precision / recall 트레이드오프가 어떻게 변화했는지를 중심으로 정리했습니다.

로봇 AI를 넘어...​

Physical AI라는 개념은 흔히 로봇 기술과 동일시됩니다. 많은 분들이 로봇이라는 물리적 폼팩터가 공간을 자유롭게 이동하고, 인간의 일을 대신 수행하는 미래를 상상하지만, 현실의 기술 발전 속도는 이러한 상상을 구현하기까지 아직 상당한 시간이 필요합니다. 그럼에도 많은 논의가 로봇 중심의 시각에 머물러 있는 것은 아쉬운 일입니다. Physical AI는 로봇이라는 형태로만 구현될 필요가 없으며, 이미 우리 주변에는 물리적 세계와 상호작용할 수 있는 훨씬 다양한 인터페이스가 존재합니다.

서론: Image-Guided Detection의 실용적 구현​

Open-Vocabulary Detection 분야에서 OWL-v2 (Open-World Localization Vision Transformer v2)는 텍스트와 이미지 모두를 프롬프트로 사용할 수 있는 강력한 모델입니다. 특히 "이미지 프롬프트(Visual Prompting)"를 이용한 Image-Guided Detection은, 사용자가 예시 이미지만으로 원하는 객체를 찾게 해주는 강력한 기능입니다.

본 포스트에서는 OWL-v2의 Image-Guided Detection 방법론을 Production 환경에 맞게 구현하며 적용한 핵심 최적화 기법 3가지를 공유합니다.

LLMOps에서 Observability의 메타지능으로의 진화​

LLM 서비스를 제대로 구현하기 위해서는 LLMOps 체계가 필수적입니다. 그 중에서도 observability(o11y) 는 단순 모니터링을 넘어 시스템의 ‘메타지능’ 을 가능하게 하는 핵심 요소로 발전하고 있습니다.

---

o11y가 ‘메타지능’으로 진화하는 과정​

초기 LLM o11y는 토큰 사용량, 응답 시간, 응답 내용, 사용자 피드백 등을 수집해 성능을 모니터링하는 수준에 머물렀습니다. 저희는 Langsmith라는 상용 툴을 도입해 AI 로직의 실행 과정을 모니터링했으며, 이후 Langfuse라는 오픈소스 툴을 함께 통합하여 조직 내부에서 라이선스 유무에 따라 두 제품을 선택적으로 사용할 수 있게 했습니다.

그러나 AI Agent 서비스 이용자가 늘어나면서 쌓이는 데이터가 단순 로그 분석만으로는 의미 있는 통찰을 제공할 수 없다는 사실이 드러났습니다. 이에 우리는 o11y 데이터를 단순한 '관찰 기록'이 아닌 다음 단계로 이끄는 ‘메타지능 도구’ 로 진화시키기로 결정했습니다. 이 시스템은 AI Agent의 리턴값과 사용자 피드백을 바탕으로, 자동으로 질문을 재구성하거나 답변의 품질을 향상시키는 방향으로 모델 행동을 조정할 수 있습니다.

즉, o11y 데이터는 실시간 성능 모니터링을 넘어서, AI Agent 스스로 개선하는 피드백 루프의 핵심 자료가 됩니다.

학술적으로도 이러한 접근은 AgentOps, 또는 Agentic AI 관측 시스템의 핵심으로 주목받고 있습니다. LLM 에이전트의 실행 경로, 내부 로직, 도구 호출, 계획 단계 등 다양한 아티팩트를 추적하는 AgentOps의 전체 관측 프레임워크를 제안하는 움직임도 있고, 블랙박스 평가를 넘어, 에이전트 실행 로그를 기반으로 행위 패턴을 추론하고 최적화하는 새로운 분석 루프의 중요성이 강조되기도 합니다.

배경​

Meraki의 Cloud-Managed Service는 이미 매우 우수한 인프라를 갖추고 있습니다. 이러한 클라우드 플랫폼 위에 다양한 3rd-party 앱, 특히 AI 기반 서비스들이 자유롭게 올라갈 수 있다면, Meraki의 진정한 가치 향상이 실현될 것이라 기대할 수 있습니다.

현재 Meraki Cloud에는 App Store가 존재하며, 일부 앱들이 제공되고 있지만 다음과 같은 한계가 분명하게 드러납니다.

• Meraki Cloud 서비스와의 통합성
  • 앱 설치 및 배포가 제한적입니다. 현재는 일부 파트너사만 공식적으로 앱을 등록할 수 있으며, 설치 과정이 복잡하거나 자동화되어 있지 않습니다.
  • 3rd-party 앱이 Meraki Dashboard와 완전히 통합되어 있지 않아, 사용자 경험이 단절되거나 관리 포인트가 분산되는 문제가 있습니다.
  • API 및 SDK의 제한으로 인해 외부 서비스와의 연동 및 확장성이 충분히 보장되지 않습니다.

Meraki Cloud를 한 단계 업그레이드하고, 3rd-party 앱 생태계의 Best Practice를 제시한다는 측면에서 Meraki Smart Camera와 mellerikat EVA의 결합은 매우 의미 있는 사례가 될 수 있습니다.

특화 지능: 일반 지능을 넘어 비즈니스 혁신의 열쇠​

디지털 혁명 이후 인공지능(AI)은 빠른 속도로 발전하며 우리의 일상과 산업 전반에 혁신을 가져왔습니다. 특히 생성형 AI(Gen AI) 의 등장으로 누구나 쉽게 AI 기술을 활용할 수 있게 되었지만, 이로 인해 다양한 도전 과제도 함께 나타났습니다. 모든 분야에서 완벽하게 작동하는 만능 AI는 이상적인 목표이지만, 현실에서는 각 분야에 맞춘 특화 지능이 더 큰 가치를 지닐 수 있습니다.

생성형 AI는 일반지능(General Intelligence, AGI)에 가까운 특성을 지니고 있으며, 이는 다양한 과업을 수행할 수 있는 능력을 의미합니다. 이러한 Gen AI의 능력은 특정한 문제를 해결하기 위해 특화된 인공지능 기술과는 상반되며, 다양한 상황과 맥락에서 유용하게 작동할 수 있는 범용성을 제공합니다.

인공지능 분야에서 인공 일반 지능(AGI)은 놀라운 속도로 발전하고 있습니다. 이러한 발전은 분명 인상적이지만, 가장 높은 수준의 일반 지능을 추구하는 것은 때때로 지나치게 야심 차고 비현실적인 노력처럼 보일 수 있습니다. 대신, 진정한 가치는 특정 분야 내에서 문제를 해결하기 위해 도메인 특화 지능을 개발하고 활용하는 데 있습니다. 이는 특정 작업과 상황에 맞춘 전문 지식과 역량을 의미합니다.

특화 지능 기술은 각 산업과 용도에 맞춰 최적화된 모델을 제공함으로써 기업이 직면한 복잡한 문제를 효과적으로 해결할 수 있도록 지원합니다. 일반적인 AI와 달리, 특화 지능은 특정 도메인의 고유한 데이터와 패턴을 깊이 이해하여 최선의 결과를 도출합니다. 이러한 접근 방식은 시간이 지남에 따라 더 높은 품질의 예측과 분석을 가능하게 하여 비즈니스 가치의 극대화를 돕습니다. Mellerikat은 이러한 특화 지능을 쉽게 구축하고 운영할 수 있도록 지원하여, 기업이 전문 지식을 효과적으로 활용할 수 있게 합니다.

대규모 언어 모델(LLM)은 다양한 비즈니스 관련 뉴스 데이터를 수집하고 요약하여 특정 주제에 대한 정보를 제공할 수 있습니다. 그러나 구리 가격이 향후 상승할지 하락할지를 예측하는 것은 LLM의 능력을 넘어서는 일입니다. 이 작업은 구리 가격 책정 전문가의 전문 지식을 통합한 예측 머신러닝(ML) 엔진과 같은 도메인 특화 지능을 필요로 합니다.