MS, 수학 추론 전문 오픈 소스 경량모델 출시..."학습 도구로 적합"

[박찬 기자]

마이크로소프트(MS)가 고도화된 수학 추론 성능에 최적화된 새로운 오픈 소스 경량 언어모델을 공개했다. 이 모델은 추론 능력과 연산 효율성 사이의 균형을 이뤄, 교육용 애플리케이션이나 실시간 논리 처리 시스템 등 다양한 분야에 활용 가능성이 높다.

MS는 9일(현지시간) 파이-4(Phi-4) 시리즈의 최신작 '파이-4-미니-플래시-리즈닝(Phi-4-mini-Flash-Reasoning)'에 관한 논문을 아카이브에 게재했다.

이 모델은 3.8억개의 매개변수를 가진 경량형 오픈 모델로, 고난도 수학 문제 해결, 다중 단계 추론(Multi-hop reasoning), 장문 컨텍스트 처리 등 복잡한 논리 기반 태스크에 최적화돼 있다.

이전 모델인 파이-4-미니-리즈닝보다 플래시 버전은 최대 10배 빠른 추론 속도와 2~3배 낮은 평균 지연시간(latency)을 실현했으며, 6만4000 토큰 컨텍스트를 지원한다.

모델 성능 향상의 핵심은 MS가 새롭게 설계한 '삼바Y(SambaY)' 아키텍처다.

이 구조는 하이브리드 디코더-디코더 방식으로, 기존 트랜스포머 모델보다 훨씬 효율적인 SSM(State Space Model)과 새로운 GMU(Gated Memory Unit)를 통해 계층 간 메모리를 공유하면서 계산량을 대폭 줄였다. 그 결과, 선형 시간 복잡도(linear prefill time)를 유지하며 긴 문맥에서도 빠른 응답을 제공한다.

또 고품질 합성 및 정제된 실데이터 5조 토큰을 사전 학습했으며, 이후 지도 학습(SFT) 및 DPO(Direct Preference Optimization)를 통해 추론 중심의 능력을 정교하게 튜닝했다. 강화 학습(RLHF)은 제외돼, 더 효율적이고 단순한 학습 경로를 따랐다고 설명했다.

수학 전문 벤치마크 결과에서도 우수한 성능을 입증했다.

'Math500'에서 92.45%의 정확도를 기록, 기존 모델인 파이-4-미니-리즈닝(91.2%)뿐 아니라 오픈 모델인 '큐원-1.5B'와 '스트라토스(Stratos-7B)' 등을 능가했다.

또 'AIME24/25' 평가에서 52% 이상의 정확도를 달성하며 고난이도 수학 문제 해결 능력을 보여줬다. 폰북(PhoneBook)과 룰러(RULER) 같은 장문 문맥 이해 테스트에서도 높은 일관성과 정확도를 유지해, 긴 컨텍스트에서도 안정적인 추론 성능을 발휘하는 모델임을 증명했다.

특히 22K 토큰 프롬프트와 32K 토큰 생성을 사용하는 지연 시간 벤치마크에서 이전 모델보다 최대 10배 높은 처리량을 기록했다.

이 모델은 높은 성능을 보이지만, 단일 GPU에서도 운용 가능하다. 따라서 교육용 앱, 문서 요약, 로직 기반 에이전트 등 다양한 실시간 AI 활용 환경에서 활용될 수 있다.

이 모델은 애저 AI 파운드리, 엔비디아 API 카탈로그, 허깅페이스에서 누구나 다운로드해 사용할 수 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>