리퀴드 AI, 가장 작은 '온디바이스 추론' 모델 출시..."900MB 용량·한국어 지원"

[박찬 기자]

'액체 신경망'을 통한 소형언어모델(sLM)로 유명한 리퀴드 AI가 스마트폰 등 소비자용 기기에서 완전히 오프라인으로 구동 가능한 추론 특화 AI 모델을 공개했다. 지금까지 공개된 모델 중 가장 작은 온디바이스 AI용 추론 모델로 꼽힌다.

리퀴드 AI는 20일(현지시간) 온디바이스 및 엣지 환경에 최적화된 12억 매개변수 규모의 추론 모델 'LFM2.5-1.2B-싱킹(Thinking)'을 공개했다.

이 모델은 기존 LFM2 아키텍처를 확장한 'LFM2.5' 계열에 속하는 텍스트 전용 범용 모델이다.

엣지 환경을 목표로 추가 사전 학습과 다단계 강화 학습(RL)을 적용했다. 11억7000만개 매개변수, 32K 컨텍스트 길이, 영어·한국어·중국어·일본어·프랑스어·독일어·스페인어·아랍어 등 8개 언어를 지원한다.

특히, 최신 스마트폰에서 900메가바이트(MB) 수준의 메모리만으로 구동된다. 네트워크 연결 없이도 구조화된 추론과 수학 문제 해결, 도구 활용이 가능하도록 설계됐다. 일반적인 대화형 챗봇보다 '사고 과정'에 초점을 맞췄다.

이 모델은 추론 과정에서 내부에 '사고 추적(thinking traces)'를 먼저 생성한 뒤 최종 답변을 내놓는다. 이 중간 단계는 문제를 어떻게 풀지 계획하고, 도구 호출을 준비하며, 여러 단계의 지시를 검증하는 데 활용된다.

리퀴드 AI는 이를 에이전트형 작업, 데이터 추출 파이프라인, 검색 증강 생성(RAG) 시스템의 '플래닝 브레인(planning brain)'으로 활용할 것을 권장했다.

성능은 소형 모델의 한계를 넘어섰다.

동일 계열의 지시 따르기 모델(LFM2.5-1.2B-Instruct)과 비교해 수학 추론(MATH 500)은 약 63점에서 88점으로, 지시 이행 능력(Multi-IF)은 61점에서 69점으로 크게 향상됐다. 도구 사용 능력도 'BFCLv3' 49점에서 57점으로 개선됐다.

일부 추론 벤치마크에서는 매개변수가 더 큰 '큐원3-1.7B'의 싱킹 모드와도 경쟁력을 보였다. 매개변수 수는 40% 적고, 출력 토큰 수도 더 적은 것으로 나타났다.

리퀴드 AI는 소형 추론 모델의 고질적인 문제인 '둠 루프(doom looping)', 즉 사고 과정을 반복하다 답변을 끝내지 못하는 현상도 크게 줄였다고 밝혔다.

중간 학습 단계부터 추론 트레이스를 포함한 학습을 진행하고, 합성 체인 기반 미세조정과 선호 정렬, 강화 학습(RLVR) 등을 거쳤다. 그 결과, 둠 루프 발생률은 15.74%에서 0.36%까지 낮아졌다.

하드웨어 효율성도 핵심 설계 목표다. LFM2.5-1.2B-싱킹은 AMD CPU에서 초당 약 239토큰, 모바일 NPU에서 약 82토큰을 처리할 수 있으며, 1GB 미만 메모리로 구동된다.

LFM2.5-1.2B-싱킹은 오픈 웨이트 형태로 허깅페이스에 공개됐으며 리퀴드 AI의 LEAP 플랫폼을 통해서도 제공된다.

리퀴드 AI는 "이 모델은 장기 컨텍스트 추론에 탁월한 성능을 보여준다"라며 "차량과 모바일 기기, 노트북, IoT 기기 및 임베디드 시스템을 포함한 다양한 기기에서 다양한 용도로 활용될 수 있다"라고 밝혔다.

이어 "에이전트 기반 작업과 데이터 추출, RAG 등에 사용을 권장한다. 지식 집약적인 작업이나 프로그래밍에는 권장하지 않는다"라고 덧붙였다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>