프랑스 미스트랄 AI, ‘미스트랄 스몰 3’ 공개... “오픈AI 능가”

프랑스 인공지능 기업인 미스트랄 AI(Mistral AI)는 지연 시간을 최적화한 240억 매개변수(parameter) 규모의 인공지능(AI) 모델 ‘미스트랄 스몰 3(Mistral Small 3)’를 공개했다고 지난달 30일(현지시각) 밝혔다. /미스트랄 AI 홈페이지 캡처

프랑스 인공지능 기업인 미스트랄 AI(Mistral AI)는 지연 시간을 최적화한 240억 매개변수(parameter) 규모의 인공지능(AI) 모델 ‘미스트랄 스몰 3(Mistral Small 3)’를 공개했다고 지난달 30일(현지시각) 밝혔다. 해당 모델은 아파치 2.0(Apache 2.0) 라이선스 하에 배포된다.

회사 측에 따르면 미스트랄 스몰 3는 메타의 라마 3.3 70B(Llama 3.3 70B)나 알리바바의 쿠엔 32B(Qwen 32B) 등 대형 모델과 경쟁할 수 있다. 미스트랄 AI즞 특히 GPT-4o 미니(GPT-4o-mini)와 같은 폐쇄형 모델을 대체할 수 있는 강력한 오픈소스로 평가받는다고 설명했다.

미스트랄 AI에 따르면 이번 모델은 81% 이상의 MMLU(대규모 다중작업 언어 이해) 정확도를 기록했고, 초당 150 토큰(token)의 속도를 보인다. 또 기존 모델보다 적은 레이어(layer) 수를 유지해 처리 속도를 극대화했다. 이를 통해 동일한 하드웨어 환경에서 라마 3.3 70B보다 3배 이상 빠른 속도를 구현했다.

미스트랄 스몰 3는 ▲빠른 응답이 필요한 대화형 AI ▲저지연 함수 호출 ▲도메인 특화 전문가 모델 구축 ▲로컬 배포 환경 등에서 활용될 수 있다. 특히 금융, 의료, 제조 등 다양한 산업에 적용할 수 있다.

회사에 따르면 금융 서비스 기업은 미스트랄 스몰 3을를 사기 탐지(Fraud Detection)에 활용할 수 있다. 의료 분야에서는 환자 분류(Triage) 및 상담 서비스로 사용할 수 있다. 또한 로봇, 자동차, 제조업에서는 기기 내 명령 제어(On-Device Command and Control) 용도로 적용할 수 있다.

미스트랄 AI는 개인 및 기업 사용자가 미스트랄 스몰 3를 로컬 환경에서 실행할 수도 있다고 밝혔다. 모델을 양자화(Quantization)하면 엔비디아(NVIDIA) RTX 4090 그래픽카드 또는 32GB RAM을 장착한 맥북에서 원활하게 구동할 수 있다.

미스트랄 스몰 3는 미스트랄 AI의 자체 플랫폼 ‘라 플라트포름(la Plateforme)’에서 ‘mistral-small-latest’ 또는 ‘mistral-small-2501′ 이름으로 제공된다.

윤예원 기자(yewona@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>