스포츠 중계 하이라이트 찾은 AI, 더 진짜 같은 시험으로 평가한다!
UNIST 김태환 교수팀, 8개 종목 320편·누적 640시간 분량 AI 평가 벤치마크 구축
방송 공식 하이라이트 기반으로 정답 자동 생성하는 기술 개발·적용.. ACM KDD 채택
스포츠 경기 영상에서 하이라이트를 뽑아내는 AI 모델의 성능을 제대로 평가할 수 있는 기술이 나왔다. UNIST 인공지능대학원 김태환 교수팀은 스포츠 영상에서 하이라이트를 추출하는 AI 모델을 평가하는 대규모 벤치마크인 ‘SVHighlights(Sport Video Highlights)’를 만들었다고 13일 밝혔다. 벤치마크는 어느 AI가 정답을 더 잘 맞히는지 비교하는 일종의 공통 시험지다. AI가 풀어야 할 문제뿐만 아니라 성능을 판단할 정답을 함께 있어야 한다. 기존 벤치마크에 담긴 영상은 대부분 2~4분 내외였다. ‘정답’을 만들려면 사람이 영상을 처음부터 끝까지 보면서 어느 구간이 하이라이트인지 일일이 표시해야 해 영상이 길수록 천문학적 시간과 비용이 들기 때문이다. 반면 연구팀이 만든 벤치마크는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목 320편의 영상으로 구성돼 있으며, 누적 640.18시간이라는 방대한 규모다. 영상 한 편의 평균 길이가 2시간으로 기존 데이터셋보다 무려 30~60배나 길어, 실제 스포츠 중계 길이와 비슷한 수준이다. 이 같은 방대한 벤치마크를 구축하는 데 사람의 역할은 경기 시작과 끝 지점을 영상당 한 번 표시하고, 자동으로 짝지어진 화면을 격자 이미지로 훑어보는 정도에 그쳤다. 이 확인 과정에서 자동으로 짝지어진 화면이 오류로 드러난 비율은 0.18%에 불과했다. 인터넷 등에 이미 공개된 스포츠 공식 하이라이트 영상을 활용한 덕분에 이같이 길고 방대한 규모의 데이터셋을 비용 효율적으로 만들어낼 수 있었다. 전문 편집자가 고른 하이라이트 장면 자체가 믿을 만한 정답 역할을 하기 때문이다. 남는 문제는 하이라이트 영상이 원본의 ‘몇 분 몇 초’에서 나왔는지에 대한 타임스탬프 정보가 없다는 점이었는데, 연구팀은 이를 자동으로 찾아내는 매칭 알고리즘을 만들어냈다. 원본 영상과 하이라이트 영상의 프레임을 픽셀 단위(PSNR)로 비교해 가장 유사한 장면을 짝짓는 알고리즘이다. 또 알고리즘을 설계할 때 화면의 유사성뿐만 아니라 앞에서 찾은 장면과의 시간 순서까지 함께 따지도록 했다. 중계 영상에는 보통 득점 장면 등을 여러 번 리플레이하는 경우가 많아, 실제 경기 발생 시점 대신 시각적으로 동일한 리플레이 장면을 하이라이트로 잘못 매칭하는 오류를 방지하기 위해서다. 연구팀은 기존의 장면 분할 모델과 음성인식모델, 비전언어모델, 대규모 언어모델을 조합해 긴 영상에서도 하이라이트를 효과적으로 추출할 수 있는 ‘TF-SELECTOR’라는 AI 모델도 함께 개발했다. SVHighlights 벤치마크로 테스트했을 때, TF-SELECTOR는 대부분의 지표에서 기존 모델들보다 우수한 성능을 보였다. 차순위 모델과 비교해 가장 중요하다고 고른 장면이 실제 하이라이트인지를 평가하는 HIT@1은 2.50%포인트, 실제 하이라이트 수만큼 후보를 골랐을 때 얼마나 많이 찾아냈는지를 평가하는 HIT@K는 4.04%포인트 높았으며, 예측 구간과 정답 구간의 겹침을 나타내는 IoU도 2.95점 높았다. 이번 연구는 이동규 UNIST 석·박사통합과정생, 기영빈 석사가 제1저자로 함께 했다. 김태환 교수는 “방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수 시간을 들여야 했던 정답 작업을 대체했으며, 같은 방식으로 데이터를 계속 늘려갈 수 있어 장시간 영상 분석 모델을 객관적으로 평가하고 성능이 더 나은 모델을 개발하는 데 도움이 될 것”이라고 말했다. 연구 결과는 지난달 9일 제주에서 열린 데이터마이닝분야 권위 국제학회인 ACM KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining) 채택됐다. 데이터셋과 코드는 연구팀의 프로젝트 페이지(https://leedongkyu2019.github.io/SVHighlights/) 에서 확인 할 수 있다. 연구 수행은 과학기술정보통신부 및 정보통신기획평가원의 인간과 교감하는 멀티모달 인터랙션 인공지능 기술 (RS-2022-II220608/2022-0-00608), 산업융합형 멀티모달 생성 인공지능 인재양성 사업 (RS-2024-00360227), AI스타펠로우십지원 (RS-2025-25442824), 인공지능대학원 사업 (No.RS-2020-II201336)의 지원을 받아 이뤄졌다.