서버 사이드 앙상블 예측 추가:/predictions/ensemble을 추가하고, 모델별 threshold, vote 기반 탐지 집계, current-model 결과 리포팅을 지원합니다.
ROI 전용 탐지 동작 추가: 설정된 interest area 안에 있는 box만 응답으로 반환하여 downstream VLM 플로우가 영역 관련 탐지만 받도록 개선했습니다.
EVA App 동기화 플로우 개선:POST /sync를 camera count, health snapshot, dynamic worker scaling의 source of truth로 사용하도록 변경했습니다.
Proxy 모듈 구조 개편: proxy를 route module, Pydantic schema, TorchServe service, health service, camera registry, scaling policy module로 분리하고, 기존 import 호환을 위한 wrapper는 유지했습니다.
Background health checker 및 probe 추가: FastAPI, TorchServe inference/management endpoint, model worker readiness, optional inference probe, accelerator detection, system resource threshold 기반으로 최신 health state를 추적합니다.
사용 불가능한 모델로 ensemble fallback되는 문제 수정: TorchServe에 등록되지 않았거나 READY worker가 없는 모델을 ensemble 후보에서 제외하도록 수정했습니다.
Ensemble prediction의 non-serving model 처리 수정: Ensemble request를 보내기 전에 TorchServe management 상태를 확인해 unavailable model 때문에 prediction flow가 실패하지 않도록 했습니다.
MIG metric 권한 오류 처리 수정: MIG memory/utilization metric을 조회할 수 없는 경우 resource failure로 처리하지 않고 optional data 누락으로 다루도록 개선했습니다.
MIG UUID 처리 수정: MIG partition 환경에서 GPU discovery가 올바르게 동작하도록 visible MIG UUID를 사용합니다.
MIG utilization metric 누락 처리 수정: utilization field가 없어도 resource schema나 health response가 실패하지 않도록 허용했습니다.
Sync 중 minimum worker 유지 문제 수정: EVA App sync가 camera count를 갱신할 때 설정된 minimum worker count가 유지되도록 수정했습니다.
SYNC API request field 이름 수정: Sync request format의 id를 eva_id로 변경했습니다.
IG 추론 런타임 최적화: IG embedding 및 inference 경로를 재사용 가능한 core module로 리팩터링하고, eager fallback을 포함한 torch.compile(dynamic=True) 및 CUDA bfloat16 실행을 적용해 serving 효율을 개선했습니다.
IG API 검증 및 문서 강화: IG inference payload에 대한 proxy-side validation을 추가하고, scenario threshold와 interest zone을 포함한 get_embedding / inference request-response format을 문서화했습니다.
기본 serving worker 설정 조정: 더 가벼운 기본 runtime profile을 위해 OmDet 및 MMGDino의 기본 worker 수를 2에서 1로 줄였습니다.
IG 런타임 패키징 및 유틸리티 로딩 수정: TorchServe에서 IG runtime dependency가 올바르게 resolve되도록 새 IG utility module을 model archive flow에 포함하고 interest-zone utility import 방식을 개선했습니다.
IG box conversion 호환성 수정: compile 및 runtime compatibility 문제를 방지하기 위해 IG hot path의 torchvision.ops.box_convert 사용을 Torch-native conversion helper로 대체했습니다.
Helm 기반 TorchServe 설정 흐름 정리: Helm ConfigMap의 config.properties.template를 /app/eva_ts/config.properties.template 경로에 마운트하여, 배포된 템플릿을 기반으로 런타임 설정 파일이 생성되도록 정리했습니다.
Helm의 모델 및 워커 설정을 런타임에 반영: Helm values.yaml에 설정한 로드 모델, 워커 수, 배치 크기, 배치 지연 시간이 생성된 config.properties에 반영되도록 개선했습니다.
TorchServe 런타임 제어 옵션 추가: Helm에서 렌더링되는 TorchServe 설정 템플릿에 number_of_netty_threads와 worker_retry_timeout_sec 항목을 추가했습니다.
Kubernetes 서비스 기본 값 개선: 기본 서비스 타입을 NodePort에서 ClusterIP로 변경하고, 서비스 타입이 NodePort일 때만 nodePort가 렌더링되도록 수정했습니다.
기본 서빙 리소스 및 모델 파라미터 조정: 더 안정적인 런타임 구성을 위해 기본 메모리 request/limit을 32Gi로 상향하고, 일부 모델의 워커 수를 1로 조정했으며, RT-DETRV2의 배치 설정을 변경했습니다.
MM-Grounding-DINO (Swin-B) 모델 추가: 향상된 zero-shot 객체 감지 기능을 위해 Swin-B 백본을 사용하는 MM-Grounding DINO 모델을 도입했습니다.
앱 카메라 관리 및 TorchServe 관리 래핑 API 구현: 카메라 연결 및 TorchServe 모델 라이프사이클을 관리하기 위한 새로운 API 인터페이스를 추가하여 비전 파이프라인 구성 요소에 대한 중앙 집중식 제어를 제공합니다.
배치 카메라 API 추가: 여러 카메라 스트림에 대한 배치 처리 기능을 구현하여 동시 카메라 입력을 효율적으로 처리할 수 있습니다.
모델 워커 관리 API 추가: 모델별 현재 워커 개수를 확인하는 GET models/workers/current 엔드포인트와 수동 워커 스케일링을 위한 PUT models/{model_name}/workers 엔드포인트를 구현 하여 모델 서빙 리소스에 대한 세밀한 제어가 가능합니다.