Meta Agent로 시작하는 탐지 운영 최적화

EVA v3.0 신규 기능: Meta Agent로 탐지 운영을 더 쉽게, 더 정확하게

EVA를 특정 목적에 맞게 안정적으로 운영하려면 객체, 민감도, Vision 모델 같은 설정값을 시나리오와 카메라 환경에 맞게 지속적으로 조정해야 합니다. 문제는 "과거 데이터와 현재 화면 상황을 함께 보고 지금 어떤 값을 설정해야 하는지"를 사람이 일관되게 판단하기가 매우 어렵다는 점입니다.

이런 사용자 운영 어려움을 해소하고, 원하는 탐지를 더 쉽게 수행할 수 있도록 EVA는 Meta Agent를 적용할 예정입니다. Meta 지능은 계속 고도화되며, v3.0에서는 객체 민감도 추천과 Vision 모델 추천을 우선 제공합니다.

---

1. 왜 Meta Agent가 더 필요한가

소규모 환경에서는 운영자가 직접 카메라별 파라미터를 조정하는 것이 가능해 보일 수 있습니다. 하지만 카메라가 100대 이상으로 늘어나면 상황이 완전히 달라집니다.

카메라마다 설치 높이, 화각, 조도, 배경 반사, 작업 동선이 다르고, 같은 시나리오라도 오탐/미탐 패턴이 다르게 나타납니다. 결국 "카메라 1대 단위 최적화"가 필요해지는데, 이 작업은 시간이 많이 들 뿐 아니라 전문적인 운영 노하우도 요구됩니다.

운영자가 실제로 부딪히는 문제는 다음과 같습니다.

• 객체 정의가 넓거나 모호하면 오탐이 늘고 불필요한 추론이 증가합니다.
• 민감도가 낮으면 비대상 객체까지 탐지하고, 높으면 필요한 객체를 놓칩니다.
• 모델 성능은 시나리오(예: 화재/연기/쓰러짐), 카메라 각도, 조도, 배경 구조에 따라 달라집니다.
• 설정을 바꿔도 효과를 즉시 검증하기 어렵고, 카메라 수가 많아질수록 수동 조정 비용이 급격히 증가합니다.

즉, "초기 한 번 설정"으로는 장기 운영 품질을 유지하기 어렵고, 데이터 기반 자동 최적화 계층이 필수입니다.

---

2. Meta Agent가 동작하는 방식

Meta Agent는 주기적으로 카메라별 상태를 확인하고, 다음 신호를 기반으로 동작합니다.

• 최근 탐지 알람 발생 데이터
• 사용자 피드백 누적 정도
• 추천 판단에 활용 가능한 이미지 축적량

핵심은 피드백이 충분히 쌓인 카메라일수록 Meta Agent가 해당 카메라를 더 자주 분석하고, 더 정확한 추천을 제공할 수 있다는 점입니다.

즉, Meta Agent는 일회성 분석이 아니라 "카메라별 운영 상태 + 피드백 축적도"를 반영해 추천 빈도와 품질을 함께 높이는 방식으로 동작합니다. 이 과정은 단순 추천에서 끝나지 않고, 현장에서 실제 운영되는 탐지 데이터를 지속적으로 분석해 EVA의 운영 전략과 추천 정밀도를 함께 고도화하는 기반으로 작동합니다. 즉, 카메라가 늘고 데이터가 축적될수록 EVA는 더 현장 적합한 방향으로 진화합니다.

---

3. 객체 민감도 추천 로직

Meta Agent의 추천 로직은 다음 순서로 수행됩니다.

• 동일 객체에 대해 5개 Vision 모델로 추론을 수행합니다.
• 모델별 추론 결과를 앙상블해 자동 라벨링합니다.
• 20개 이상의 이미지에서 정탐/오탐 분리가 가능한지 검증합니다.
• 분리 가능성이 확인된 경우에만 민감도/모델 추천을 생성합니다.

여기서 단일 모델이 아니라 앙상블을 사용하는 이유는 명확합니다.

• Vision 모델이 오탐한 객체는 VLM 단계에서도 오탐으로 이어질 가능성이 높습니다.
• 초기 시각 인식이 흔들리면, 상위 판단 모델(VLM)의 결론도 함께 왜곡될 수 있기 때문입니다.
• 따라서 하나의 모델 결과를 신뢰하기보다, 여러 모델의 합의로 객체 정합성을 먼저 확보하는 것이 더 안정적입니다.¹²

또한 효율성 측면에서도 장점이 있습니다.

• VLM은 추론 비용과 리소스 사용량이 크기 때문에, 라벨링 단계에서 매번 VLM을 대량 호출하는 방식은 비효율적입니다.
• 반면 여러 Vision 모델 기반 앙상블은 상대적으로 낮은 비용으로 대량 샘플을 빠르게 검증할 수 있어 운영에 더 적합합니다.

실제 내부 검증에서도 다중 Vision 모델 앙상블 라벨링이 단일 판단 대비 약 30% 높은 라벨링 정확도를 보였습니다.

또한 이 라벨링 과정에서 이미 여러 Vision 모델 결과가 확보되므로,

• 현재 모델에 적절한 민감도를 즉시 추천할 수 있고
• 모든 시나리오가 동일 대상을 탐지하는 경우 모델 변경 추천까지 연결할 수 있습니다.

추천 메시지 예시:

탐지 대상 {객체}에 대한 오탐이 발생하고 있습니다. {A} 모델로 설정 및 {0.xx}로 민감도를 조정해보세요.
ℹ️ 모든 시나리오의 탐지 대상이 동일한 경우에만 모델 변경을 추천합니다.

---

맺음말

Meta Agent는 운영자가 감으로 조정하던 민감도/모델 선택을 데이터 기반 추천으로 전환하는 EVA의 운영 최적화 계층입니다.

v3.0에서는 객체 민감도와 Vision 모델 추천을 시작으로, 앞으로 Meta 지능을 더 고도화해 시나리오별 운영 품질을 지속적으로 개선해 나갈 예정입니다.

---

Footnotes

1. Wang et al., "Evaluating Object Hallucination in Image Captioning" (EMNLP 2018), https://arxiv.org/abs/1809.02156 ↩

2. Leng et al., "Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding" (CVPR 2024), https://arxiv.org/abs/2311.16922 ↩