실종자나 범죄 용의자를 찾는 인공지능(AI) 모델을 개발하기 위해서는 동일한 사람을 여러 장소의 CCTV 영상에서 수집하여 동일인에 대해 풍부한 정보를 얻는 것이 중요하다. 국내 연구진이 민감 정보가 포함된 원본 영상을 중앙 서버에 모으지 않고도, 카메라마다 부족한 사람의 자세 정보를 보충해 같은 사람을 정확히 찾아내는 AI 모델을 학습 시키는 기술을 공개했다. 

인공지능대학원 심재영 교수팀은 카메라별 연합학습 환경에서 사람 재식별 성능을 높이는 ‘자세 기반 특징 증강 학습법’을 개발했다.

연합학습은 여러 곳에 흩어진 원본 자료를 중앙 서버로 보내지 않고, 각 장소에서 AI를 따로 학습시킨 뒤 이를 모아 하나의 완성된 AI 모델을 만드는 기술이다.

연구팀이 개발한 기술을 적용하면, 여러 카메라 영상에서 동일인을 식별하는 AI모델을 연합학습으로 만들 때, 이 모델이 같은 사람을 더 정확히 식별하게 할 수 있다. 

연합학습은 사람의 외모와 이동 장소 같은 민감 정보가 담긴 원본 영상을 외부로 보내지 않고도 AI를 학습시킬 수 있다는 장점이 있지만, 이를 사람 재식별 모델에 적용하면 정확도가 떨어질 수 있다. 개별 영상마다 카메라의 각도가 고정된 탓에 앞모습이나 뒷모습 등 비슷한 자세만 반복해서 찍혀, AI가 한 사람의 다양한 자세를 충분히 학습하기 어렵기 때문이다. 실제로 연구팀의 실험에서도 이러한 현상이 확인됐다.

새로 개발된 기술은 AI가 영상에서 추출한 특징을 ‘자세 정보’와 ‘사람을 구분하는 정보’로 나눈 뒤, 한 사람을 구분하는 정보에 다른 영상에서 가져온 자세 정보를 결합해 실제 영상에는 없던 새로운 자세의 학습 자료를 만들어 학습 시키는 기술이다. 예를 들어 A의 정면 모습에 B의 옆모습 자세를 결합해 ‘옆모습으로 찍힌 A’에 해당하는 특징을 학습시키며, 이 과정에서도 A를 구분하는 정보는 그대로 유지되도록 했다.

사람재식별용 공개 데이터로 평가했을 때, 평균 정밀도(mAP)는 45.9%로 기존 최고치보다 4.5%포인트 높았으며, 1순위 정확도는 66.4%를 기록했다. 평균 정밀도는 같은 사람의 사진 여러 장을 얼마나 빠짐없이 높은 순위에서 찾아냈는지 평가하는 점수이고, 1순위 정확도는 AI가 첫 번째로 제시한 사진이 같은 사람인 비율이다. 예를 들어 후보 사진 100장 가운데 같은 사람의 사진이 3장 있다면, 세 장이 모두 검색 결과의 앞부분에 나올수록 평균 정밀도가 높아진다. 반대로 첫 번째 사진은 잘 골랐어도 2, 3번째 사진을 후순위로 고르면 1순위 정확도는 같아도 평균 정밀도 점수가 낮아진다.

이번 연구는 오주형 연구원과 오민영 연구원이 공동 1저자로 참여하였다. 오주형 연구원은 “단일 카메라 환경에서는 포즈 다양성이 낮아 아무리 좋은 연합학습 기법을 써도 효과가 반감된다는 사실을 먼저 밝혀냈고, 그 원인을 해결하는 방법을 설계했다”고 설명했다.

심재영 교수는 “이번 연구는 프라이버시 보호와 고성능 재식별을 동시에 달성하는 현실적 해법을 제시한다는 점에서 의미가 크다”며 “다중 카메라 감시 시스템, 스마트시티 인프라, 실종자 수색 등 사회 안전망을 뒷받침하는 다양한 분야에 기여할 수 있을 것으로 기대한다”고 밝혔다.

이번 연구는 컴퓨터 비전 분야 최상위 국제 학술대회인 '컴퓨터비전 및 패턴 인식 학회(Computer Vision and Pattern Recognition Conference) 2026'에 채택됐다.