구글, 명령을 '코드'로 변환하는 온디바이스 모델 '펑션젬마' 출시

[박찬 기자]

구글은 18일(현지시간) 클라우드 연결 없이도 기기에서 자연어 명령을 실행 가능한 코드로 바로 변환하는 소형 언어모델(sLM) '펑션젬마(FunctionGemma)'를 선보였다.

구글은 "AI가 단순히 말하는 도구를 넘어 실제로 행동해야 하는 단계로 접어들고 있다"라며, 스마트폰과 브라우저, IoT 기기 등 엣지 환경에서 작동하는 에이전트의 중요성이 커지고 있다고 설명했다. 이를 위해서는 모델이 가볍고 로컬 실행이 가능하면서도, 특정 작업에 대해 높은 신뢰성을 갖춰야 한다는 판단이다.

펑션젬마는 2억7000만 매개변수의 '젬마 3'를 네이티브 함수 호출(function calling)에 최적화한 버전이다. 단순히 대화를 생성하는 데 그치지 않고, 자연어 명령을 실행 가능한 API 액션으로 변환해 실제 작업을 수행하는 것이 핵심 목적이다.

예를 들어, '내일 오후 3시에 회의 일정 잡아 줘'라는 명령을 실행 가능한 API 코드(함수 호출)로 변환한다. 이를 통해 AI가 단순히 응답하는 것을 넘어 실제로 외부 시스템과 상호작용하며 작업을 완료할 수 있다는 것이다.

이는 오프라인에서도 독립적으로 동작하는 개인 비서형 에이전트로 활용하거나, 대형 모델과 결합된 시스템에서 엣지 '트래픽 컨트롤러' 역할을 수행할 수 있다는 설명이다. 또, 간단한 명령은 기기에서 즉시 처리하고 복잡한 요청만 '젬마 3 27B' 같은 대형 모델로 넘기는 방식이다.

펑션젬마는 컴퓨터와 사람 모두와 소통할 수 있도록 설계돼, 구조화된 함수 호출을 생성한 뒤 결과를 다시 자연어로 요약해 전달한다.

차별점으로 행동과 대화를 동시에 처리하는 구조 미세조정을 통한 높은 신뢰성 엣지 환경에 최적화된 설계 폭넓은 개발 생태계 지원을 꼽았다.

실제 내부 '모바일 액션' 평가에서 범용 소형 모델의 함수 호출 정확도는 58%에 그쳤지만, 펑션젬마는 미세조정을 통해 85%까지 정확도가 상승했다.

이는 모델 크기보다 목적에 맞춘 전문화가 실사용 환경에서 더 효과적이라는 점을 보여준다.

엔비디아 젯슨 나노, 모바일 기기 등 제한된 자원 환경에서도 구동 가능하며, 25만6000 토큰 컨텍스트를 활용해 JSON과 다국어 입력을 효율적으로 처리한다.

허깅페이스 트랜스포머, 케라스, 언슬로스, 엔비디아 네모 등으로 학습할 수 있고, LiteRT-LM, vLLM, Llama.cpp, Ollama, 버텍스 AI 등 다양한 배포 환경을 지원한다.

구글은 구글 AI 엣지 갤러리(Google AI Edge Gallery) 앱을 통해 펑션젬마의 활용 사례도 공개했다. 일정 추가, 연락처 등록, 손전등 켜기 같은 명령을 서버 연결 없이 처리하는 오프라인 비서 데모와, 음성 명령으로 게임 속 작물을 심고 물을 주는 인터랙티브 미니게임이 대표적이다.

이들 사례는 2억7000만 매개변수 규모의 모델이 모바일 기기에서 다단계 로직을 처리할 수 있다는 것을 보여준다.

허깅페이스와 캐글에서 다운로드할 수 있다. 다만 라이선스는 MIT·아파치 같은 전통적인 오픈 소스와는 다르다.

상업적 사용과 수정, 재배포는 허용되지만, 혐오 표현이나 악성코드 생성 등 제한된 용도는 금지된다. 구글이 약관을 업데이트할 권한을 가진다. 대부분 스타트업과 개발자에게는 충분히 개방적이지만, 완전한 활용이 필요한 경우에는 주의가 필요하다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>