구글, 초경량·고효율 온디바이스 모델 '젬마3 270M' 공개

[박찬 기자]

(사진=구글)

구글이 대표 초경량 인공지능(AI) 모델 '젬마(Gemma)'의 최신 버전을 오픈 소스로 공개했다.

구글 딥마인드는 14일(현지시간) 2억7000만 매개변수 규모의 '젬마 3 270M'을 공개했다.

인터넷 연결 없이도 모바일 기기나 브라우저, 라즈베리 파이 등 다양한 환경에서 활용할 수 있다. 내부 테스트에서 '픽셀 9 프로' SoC에서도 원활히 작동하는 것이 확인됐다.

텍스트와 이미지 입력을 처리하고 텍스트 출력을 생성하는 멀티모달 모델로, 12만8000 토큰의 컨텍스트 창과 140개 이상의 언어를 지원한다.

1억7000만개의 임베딩 매개변수와 1억개의 트랜스포머 블록 매개변수를 결합, 25만6000개의 어휘를 지원해 희귀 토큰까지 처리할 수 있다.

초기 설정만으로도 명령 수행 작업에서 강력한 성능을 발휘하며, 기업과 개발자가 빠르게 미세조정을 진행할 수 있도록 설계됐다는 설명이다.

또 INT4 양자화(Quantization) 지원으로 배터리 소모를 최소화, 모바일 환경에서 실용적이다. 픽셀 9 프로로 테스트한 결로가, 25개의 대화 수행 시 배터리 0.75%만 소모됐다.

사전 훈련(pre-trained) 모델과 명령 조정(instruction-tuned) 모델 두가지로 제공된다.

기업은 물론, 창작 분야에서도 유용하다고 전했다.

구글은 데모 영상에서 '베드타임스토리 제너레이터(Bedtime Story Generator)' 앱을 통해 사용자가 설정한 캐릭터와 배경, 플롯, 테마, 길이 등에 따라 오프라인에서 즉시 이야기를 생성하는 모습을 시연했다.

클라우드에 의존하지 않고도 빠르고 직관적인 상호작용형 애플리케이션을 구현할 수 있다는 것을 보여준다.

벤치마크 결과 (사진=구글)

또 'IF이벨(IFEval)' 벤치마크에서 명령 조정된 젬마 3 270M은 51.2%의 성적을 기록했다.

이는 허깅페이스의 '스몰LM2(SmolLM2) 135M' 인스트럭트나 알리바바 '큐원 2.5 0.5B 인스트럭트' 같은 동급 소형 모델보다 높은 성능을 보이며, 일부 수십억 매개변수 규모 모델과도 비슷한 수준이다.

다만, 며칠 전 출시된 경쟁사 리퀴드 AI의 'LFM2-350M' 모델은 비교 대상에 포함되지 않았다. 이 모델은 젬마 3 270M보다 매개변수가 다소 많지만, IF이벨에서 65.12%의 높은 점수를 기록한 바 있다.

이번 모델은 허깅페이스에 제공되며, 상업적 사용과 수정, 배포가 가능하다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>