대형 서버에 의존하던 이미지 생성 인공지능(AI) 모델을 개인용 컴퓨터나 스마트폰, 로봇 안에서 바로 돌리는 데 필요한 경량화 기술이 개발됐다.

인공지능대학원 유재준 교수팀은 대형 확산모델의 이미지 생성 능력을 작은 모델에 전수할 수 있도록 학습시키는 새로운 지식 증류 기술인 ‘LIFT and PLACE’를 개발했다.

확산모델은 이미지를 점진적으로 복원하며 생성하는 방식의 최신 생성 AI 기술이다. 하지만 높은 성능을 내기 위해 모델 규모가 커지고 연산량이 늘어나면서, 모바일 기기나 저사양 환경에서 활용하기 어렵다.

이를 해결할 수 있는 기술이 지식 증류다. 고성능 대형 '교사 모델'의 출력과 중간 정보를 소형 '학생 모델'이 따라 배우도록 해, 모델을 경량화하면서 성능을 유지하는 것이다. 하지만 확산모델의 경우 교사 모델이 지나치게 강하고 복잡할수록 작은 학생 모델이 이를 제대로 모방하지 못해 학습이 불안정해지는 문제가 있었다. 연구팀은 이 문제를 “뛰어난 학자가 반드시 좋은 선생님은 아니다”라는 비유로 설명했다.

연구팀이 개발한 지식 증류 기술은 먼저 큰 틀의 쉬운 내용을 배우고, 학습이 어려운 세부 정보는 나중에 배우는 방식(LIFT)이다. 또 학습이 어려운 영역을 구분해 해당 영역을 집중적으로 학습(PLACE)시킨다.

연구팀은 교사 모델과 학생 모델의 예측값 사이에서 기울기와 절편을 맞추는 선형 보정만으로도 생성 이미지 품질 저하와 학습 불안정이 해결되는 현상에 주목해 이 같은 기술을 개발했다고 설명했다.

실험에서 이 기술은 이미지 생성, 텍스트 기반 이미지 생성, 클래스 조건부 생성 등 다양한 작업에서 안정적인 성능을 보였다. 또한 U-Net, DiT, Stable Diffusion 3의 MMDiT 등 여러 모델 구조와 확산·플로우 기반 생성 방식에도 적용 가능함을 확인했다.

특히 모델을 극단적으로 줄인 상황에서 성능 차이가 두드러졌다. 7,870만 개 파라미터를 가진 교사 모델을 130만 개 파라미터의 학생 모델로 압축한 실험에서 기존 지식 증류 방식은 성능이 크게 떨어지거나 학습이 불안정했지만, 연구팀의 방법은 안정적으로 수렴하며 우수한 생성 품질을 달성했다.

유재준 교수는 “기존 기술이 특정 모델 구조나 생성 작업에 맞춰 개발된 것과 달리, 이번 기술은 모델 구조를 바꾸지 않고 학습 방식만 조정해 여러 생성모델에 폭넓게 적용할 수 있으며, 추가 매개변수나 이미지 생성 단계의 계산 비용도 늘리지 않는다는 점에서 범용성과 실용성을 모두 갖춘 기술”이라며 “개인용 컴퓨터나 스마트폰, 로봇 등 계산 자원이 제한된 환경에서 생성형 AI를 활용하는 데 도움이 될 것으로 기대한다”고 말했다.

이번 연구는 한현수, 여상엽 연구원이 참여했으며, 컴퓨터 비전 분야 권위 학회인 2026 CVPR(Conference on Computer Vision and Pattern Recognition)에 채택됐다. 연구 수행은 과학기술정보통신부 한국연구재단, 정보통신기획평가원, UNIST 슈퍼컴퓨팅센터 등의 지원을 받아 이뤄졌다.