“추론속도 4배” KAIST, AI 반도체 두뇌 개발

KAIST 전산학부 오성룡(왼쪽부터)·김윤성·김원웅·이유빈 박사과정생, 정지용 석사과정생, 박종세(원 안 왼쪽부터) 교수, 다비야 마하찬 미국 조지아공대 교수, 박창현 스웨덴 웁살라대 교수 [KAIST 제공]

최근 인공지능(AI) 모델이 길고 복잡한 문장을 이해하고 처리하는 능력이 커지면서, 연산 속도와 메모리 효율을 동시에 높일 수 있는 새로운 반도체 기술의 필요성이 커지고 있다. 우리나라를 포함한 국제 공동연구진이 거대언어모델(LLM)의 추론 속도는 4배 높이면서 전력 소비는 2.2배 줄인 AI 반도체 핵심 두뇌기술을 개발하는 데 성공했다.

KAIST는 박종세 전산학부 교수 연구팀이 미국 조지아공대, 스웨덴 웁살라대와 공동 연구를 통해, 차세대 인공지능 모델의 두뇌 역할을 하는 ‘AI 메모리 반도체(PIM)’ 기반 기술 ‘PIMBA’를 개발했다고 17일 밝혔다.

현재 ChatGPT, GPT-4, Claude, Gemini, Llama 등 LLM은 모든 단어를 동시에 보는 ‘트랜스포머’ 두뇌 구조를 기반으로 작동한다. 이에 따라, AI 모델이 커지고 처리 문장이 길어질수록 연산량과 메모리 요구량이 급증해, 속도 저하와 에너지 소모가 주요 문제로 지적돼 왔다. 이런 트랜스포머 문제점을 보완하기 위해 최근 제시된 순차형 기억형 두뇌인 ‘맘바(Mamba)’ 구조는 시간의 흐름에 따라 정보를 처리하는 방식을 도입해 효율을 높였지만, 여전히 메모리 병목 현상과 전력 소모 한계가 남아 있었다.

연구팀은 트랜스포머와 맘바의 장점을 결합한 ‘트랜스포머–맘바 하이브리드 모델’의 성능을 극대화하기 위해, 연산을 메모리 내부에서 직접 수행하는 새로운 반도체 구조 ‘PIMBA’를 설계했다. 구본혁 기자