챗GPT 같은 대형언어모델은 여러 작은 인공지능 모듈인 ‘전문가’를 두고 그 중 일부만 토큰에 따라 골라 쓰는 ‘전문가 혼합’ 방식이 주로 활용된다. 이러한 방식은 각 신경망 층마다 전문가를 따로 둬 비슷한 기능과 매개변수가 중복되는 문제가 있었는데, 국내 연구진은 여러 층이 같은 전문가를 공유하도록 해 언어 이해 능력은 유지하면서 매개변수를 줄이는 기술을 개발했다.

UNIST 인공지능대학원 김태환 교수팀은 대형언어모델의 여러 신경망 층이 ‘전문가’ 신경 모듈을 함께 공유해 활용하는 새로운 전문가 혼합 구조 ‘GMoE(Global Mixture of Experts)’를 개발했다고 10일 밝혔다.

GMoE는 모든 신경망 층이 함께 쓰는 ‘공용 전문가’와 각 층에 하나씩 배치되는 ‘전용 전문가’로 구성된다. 기존 방식은 신경망 층이 늘어날 때마다 새로운 전문가 집단을 추가해야 한다. 가령 신경망 층이 100개이고 각 층에 전문가 1천 명을 둔다면 모두 10만 명의 전문가가 필요하다. 반면 GMoE는 각 층에 전용 전문가를 1명씩 두고 공용 전문가 1천 명을 함께 쓰면 총 1천100명으로 구성할 수 있다. 여러 층에서 비슷한 기능을 하는 모듈과 매개변수를 반복해서 저장하지 않아도 돼 모델 파일 크기와 필요한 메모리를 줄일 수 있게 된다.

입력된 토큰을 어느 전문가 모듈로 보낼지 정하는 라우팅 방식도 개선해 특정 전문가 조합으로 입력값이 쏠리는 문제도 줄였다. 앞 층의 라우터가 계산한 전문가별 선택 점수를 다음 층으로 전달해, 이전 선택 정보를 참고하면서 전문가를 고르게 하는 방식이다. 기존 모델에서는 각 신경망 층의 라우터가 앞선 층의 선택 결과를 전달받지 않은 채 전문가를 매번 새로 정해 전문가 선택 순서가 일부 조합에 반복적으로 몰릴 수 있었다.

GMoE를 소형·중형·대형 언어모델에 적용해 독해, 문법 판단, 상식 추론 등 7개 시험으로 성능을 비교한 결과, 기존 모델과 비슷한 성능을 유지하면서도 매개변수 수는 줄었다. 중간 크기 모델에서는 매개변수를 기존 5억4천900만 개에서 2억400만 개로 약 63% 줄이고도 평균 정답률 39.51%를 기록했다. 기존 모델의 정답률인 39.55%와 유사한 성능이다.

또 실제로 일부 전문가 조합에 치우치지 않고 더 다양한 조합을 활용하는 것으로 분석됐다. GMoE에서 확인된 서로 다른 경로는 8만1천561개로 기존 방식보다 3배 이상 많았다. 가장 많이 쓰인 한 가지 경로에 입력이 몰린 비율도 기존 25.65∼45.55%에서 11.15%로 낮아졌다.

이번 연구는 홍건우 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했다. 

김태환 교수는 “기존 전문가 혼합 모델은 서로 다른 신경망 층이 비슷한 기능을 반복해서 학습하고, 각 층 안에서도 일부 전문가만 주로 활용되는 ‘복합 중복성’ 문제가 있었다”며 “이번 연구는 이러한 문제를 하나의 구조 안에서 함께 완화하는 새로운 아키텍처를 제시한 연구”라고 설명했다.

김 교수는 이어 “대형 언어모델이 더 적은 매개변수로도 다양한 전문가 조합을 활용하고, 같은 크기에서도 더 많은 방식으로 입력을 처리하는 데 기여할 것”이라고 말했다.

이번 연구 성과는 자연어 처리 최우수 국제학회 ACL(Association for Computational Linguistics) 2026에 게재됐으며, 코드는 연구팀 프로젝트 페이지(https://github.com/GEONWOOHONG/GMoE)에 공개됐다.