EVA mentor: 현장의 AI, 지켜보지 말고 가르치세요

EVA는 CCTV 영상에서 화재·연기, 작업자 쓰러짐, 보호구 미착용 같은 위험 상황을 탐지해 알람을 발생시킵니다. 하지만 같은 시나리오라도 공장, 물류센터, 건설 현장처럼 장소와 카메라 환경이 달라지면 탐지 결과와 오탐 패턴도 달라집니다.

카메라와 사업장이 늘어나면 알람의 양도 함께 늘어납니다. 오탐이 쌓이면 현장은 알람을 믿지 않게 되고, 카메라가 정상 연결되어 있는지 확인하는 단순한 시스템 모니터링만으로는 탐지 품질을 개선하기 어렵습니다. 운영자는 어떤 카메라와 시나리오에 문제가 있는지, 수정한 설정이 실제로 효과가 있었는지까지 확인할 수 있어야 합니다.

EVAmentor는 EVA의 판단과 사용자 피드백을 바탕으로 성능을 측정하고, 문제를 진단하고, 개선 방향을 찾고, 개선 결과까지 검증하는 운영 솔루션입니다. 단순히 시스템 상태를 알려주는 모니터링에 머무르지 않고, 오탐 원인을 확인해 어떤 피드백과 설정을 적용할지 함께 살펴보는 멘토링을 제공합니다. 시스템을 지켜보는 것을 넘어 탐지 품질을 지속적으로 다듬도록 돕는 것이 EVAmentor의 역할입니다.

1. EVAmentor 한눈에 보기

EVAmentor는 문제 발견 → 원인 진단 → 개선 → 검증의 운영 사이클을 하나의 화면 흐름으로 연결합니다. 운영자는 흩어져 있던 알람, 피드백, 설정 변경 이력을 같은 기준으로 살펴보면서 "무엇을 먼저 확인하고 어떻게 개선할지"를 결정할 수 있습니다.

개요 - 현장의 탐지 상태를 읽는 첫 화면

사이트별로 카메라 수, 알람 부하, 알람 정확도, 피드백 효과율과 최근 알람을 한눈에 확인합니다. 단순히 알람 건수를 보여주는 것이 아니라, 발생한 알람 중 실제 위험으로 판단된 비율과 사용자 피드백이 오탐 감소에 기여한 정도를 함께 보여줍니다. 운영자는 현재 현장의 탐지 품질과 우선적으로 살펴볼 문제를 빠르게 파악할 수 있습니다.

조치 필요 - 무엇부터 볼지 정하기

수십~수백 대의 카메라와 시나리오를 모두 직접 확인하는 대신, 최근 데이터와 검토 이력을 기준으로 상태를 자동 분류합니다. 이를 통해 운영자는 전체 목록을 처음부터 훑지 않고, 데이터가 끊겼거나 오탐이 집중된 대상처럼 즉시 조치가 필요한 항목부터 확인할 수 있습니다.

상태	의미
제거 검토	최근 알람·VLM 판단이 없음
확인 필요	데이터 유입 또는 설정 점검 필요
오적용 의심	현장과 맞지 않아 정확도가 매우 낮음
성능 개선	튜닝으로 개선할 여지가 있음
피드백 필요	알람은 많지만 검토가 부족함
유지	정상 운영

정확도 분석 ① - 성능의 흐름과 원인 보기

알람 정확도와 피드백 효과율을 산출식과 함께 보여주고, 시나리오·카메라별 상세 지표로 내려갈 수 있습니다. 숫자만 비교하는 것이 아니라 어떤 알람과 검토 결과가 지표를 만들었는지 확인할 수 있어, 시나리오를 유지하거나 제거하는 판단에도 근거를 제공합니다.

변경 이벤트 영향 분석에서는 정확도 추이 위에 시나리오 수정이나 모델 교체 시점을 표시합니다. 그래서 운영자는 성능 변화와 설정 변경의 관계를 기억이나 추측이 아니라 기록으로 확인할 수 있습니다.

• 정확도가 언제 변했는가
• 그 시점에 무엇을 수정했는가
• 수정 후 실제로 효과가 있었는가

정확도 분석 ② - 탐지 설정을 데이터로 비교하기

VLM 판단뿐 아니라 앞단의 객체와 threshold 설정도 알람의 양과 질을 좌우합니다. 예를 들어 안전모 미착용을 person 객체로 탐지할지 bare head 객체로 탐지할지에 따라 같은 시나리오의 결과가 달라질 수 있습니다. 기준 설정과 비교 설정의 정확도·알람 수를 나란히 비교해, 어느 카메라의 설정을 먼저 바꿀지 데이터로 결정할 수 있습니다.

피드백 분석 - 피드백 루프 점검하기

EVA는 사용자 피드백을 바탕으로 유사한 오탐 알람을 억제합니다. EVAmentor에서는 이 필터가 올바르게 작동하는지 다음 항목으로 확인합니다.

• 실제 오탐을 제대로 필터링했는가
• 실제 위험을 잘못 필터링하지 않았는가
• 어떤 참조 이미지가 판단에 크게 기여했는가

각 이벤트에는 참조 이미지와 유사도 점수가 남아 필터링 이유도 확인할 수 있습니다. 잘못 필터링된 위험 사례를 빠르게 찾아 피드백을 정리하거나, 특정 참조 이미지가 과도한 필터링을 만들고 있는지 점검할 수 있습니다.

A/B 테스트 - 오탐 재발을 기다리지 않기

시나리오를 수정한 뒤 현장에서 같은 상황이 다시 발생하기를 기다릴 필요가 없습니다. 과거의 오탐 이미지를 사용해 수정안을 바로 검증하고, 드물게 발생하는 오탐도 짧은 시간 안에 재현해 볼 수 있습니다.

1. 과거 오탐 이미지를 기존 시나리오로 재판정합니다.
2. AI 초안 또는 직접 수정으로 시나리오를 개선합니다.
3. 같은 이미지에 수정안을 적용해 결과를 비교합니다.

수정안이 오탐은 줄이고 기존 정탐은 유지하는지 배포 전에 확인할 수 있습니다. 즉, 현장에 적용한 뒤 문제가 드러나는 방식에서 벗어나 적용 전에 부작용을 확인하는 방식으로 운영 순서를 바꿀 수 있습니다.

이미지 갤러리 - 검토를 실제 개선으로 연결하기

알람과 필터링된 이벤트를 한곳에서 확인하고 정탐·오탐을 레이블링합니다. 아직 검토하지 않은 건을 이미지로 비교하며 개별 또는 조건별로 일괄 처리할 수 있습니다. 등록한 레이블은 EVAmentor 안에만 남는 것이 아니라 EVA App의 분석 결과에도 반영되어 다음 탐지의 근거가 됩니다.

2. EVAmentor가 만드는 가치

수백 대 카메라의 성능을 관리할 수 있습니다

모든 알람을 하나씩 확인하는 대신, 사이트·카메라·시나리오별 성능을 자동 집계하고 조치 우선순위를 제시합니다. 카메라가 늘어나도 운영자는 같은 기준으로 중요한 문제부터 확인할 수 있습니다. 운영자의 일과가 알람을 무작정 열어보는 일에서, 조치 필요 목록의 상위 항목을 검토하는 일로 바뀌는 이유입니다.

보이지 않던 문제를 드러냅니다

잘못된 피드백 필터, 검토 공백, 데이터가 끊긴 카메라, 현장과 맞지 않게 된 시나리오를 상태와 지표로 표시합니다. 특히 알람은 계속 발생하지만 아무도 검토하지 않는 사각지대나, 실제 위험까지 필터링하는 부작용처럼 눈에 잘 띄지 않는 문제를 드러냅니다. 모든 지표의 산출 근거를 함께 보여주기 때문에 운영 판단을 설명할 수 있습니다.

검토 부담은 줄고, 데이터는 운영 자산이 됩니다

이미지를 보며 바로 레이블링하고, 필요한 건은 일괄 처리할 수 있습니다. 무엇부터 검토할지 상태별 우선순위가 제시되므로 같은 시간에도 더 중요한 이벤트를 먼저 처리할 수 있습니다. 이렇게 쌓인 검토 이력은 시나리오 수정 전후의 성능을 비교하고 장기 추세를 확인하는 운영 자산이 됩니다.

개선은 감이 아니라 검증으로 이루어집니다

과거 오탐 이미지, 객체·threshold 비교, AI 시나리오 초안, 변경 이벤트 분석을 통해 수정 전부터 적용 후까지 효과를 확인합니다. 경험과 감에 의존해 설정을 바꾸고 현장 알람을 기다리던 과정을, 데이터를 기반으로 수정하고 즉시 검증하는 과정으로 바꿉니다.

사람의 판단이 시스템을 다시 똑똑하게 만듭니다

EVAmentor의 레이블과 검토 결과는 EVA App의 다음 판단에 반영됩니다. 그 효과를 다시 측정하면서 측정 → 진단 → 개선 → 반영 → 재측정의 선순환이 만들어집니다. 이 루프가 반복될수록 현장에 맞지 않는 판단은 줄고, 운영자가 알람을 신뢰할 수 있는 기반은 커집니다.

3. 마치며

EVA가 현장을 지켜보는 시스템이라면, EVAmentor는 EVA를 지켜보며 더 정확하게 만드는 시스템입니다.

탐지 결과 · 피드백 수집
    ↓
성능 지표 집계
    ↓
조치 필요 대상 자동 분류
    ↓
근거 이미지 검토 · 정탐/오탐 확정
    ↓
A/B 테스트 · 탐지 설정 비교
    ↓
개선 효과 재측정

탐지 품질은 한 번의 튜닝이 아니라 이 루프를 꾸준히 운영할 때 만들어집니다.