KT 자체 개발 AI ‘믿:음 2.0’ 한국어 평가서 국내 1위

8일 기준 한국어 언어모델(LLM) 성능 평가 플랫폼 ‘호랑이 리더보드’ 파라미터 수 150억개(15B사이즈) 이하 모델 순위에서 KT 자체 개발 AI '믿음 2.0'이 1위를 기록했다./KT 제공

KT는 자체 개발한 인공지능(AI) ‘믿:음 2.0’이 한국어 거대언어모델(LLM) 성능 평가 플랫폼 ‘호랑이(Horangi) 리더보드’에서 국내 1위를 차지했다고 9일 밝혔다.

KT가 지난 4일 공개한 ‘믿:음 2.0’은 ▲115억 파라미터 규모 ‘믿:음 2.0 베이스(Base)’ ▲23억 파라미터 규모 ‘믿:음 2.0 미니(Mini)’ 2종으로 구성된다. 이 중 베이스 모델이 한국어 LLM 평가 지표 ‘호랑이 리더보드3’에서 파라미터 수 150억개 미만의 국내 기업 개발 모델 가운데 종합 성능 1위를 기록했다. 이 모델은 ▲범용 성능 0.7004 ▲응답 정렬(Alignment) 성능 0.739를 기록하며 종합 점수 0.7197을 받았다. 세계 동급 모델 중에서는 3위에 해당한다.

‘호랑이 리더보드’는 글로벌 머신러닝 운영(MLOps) 기업 웨이트앤바이어스(W&B)가 주관하는 한국어 특화 LLM 평가 벤치마크다. 실제 한국어 환경에서의 범용적인 언어 이해력과 응답 안전성을 포함하는 정렬성(Alignment) 등 한국어 LLM의 실용적인 역량을 다면적으로 평가한다. 단편적인 지식을 묻는 질문에 대한 답변 정확성을 평가하는 기존 벤치마크와 달리, 작문·추론·정보 추출 등 실생활 시나리오를 기반으로 평가한다는 게 특징이다.

한국어 고유의 문맥·표현·사회적 맥락 등도 평가할 수 있어 모델의 실효성을 가늠하는 데 중요한 기준으로 여겨지고 있다. 평가 결과는 W&B가 운영하는 플랫폼을 통해 투명하게 공개되고, 누구나 직접 검증할 수 있다.

/KT 제공

KT 측은 이번 평가에 대해 “믿:음 2.0이 국산 기술력 기반의 한국어 AI 모델로서 실질적 경쟁력을 갖추었음을 객관적으로 입증했다”라며 “믿:음 2.0은 한국의 정신과 생활 방식, 지식과 사회적 맥락을 반영해 한국에 가장 잘 맞는 AI로 개발됐다”라고 전했다.

믿:음 2.0은 외산 모델을 기반으로 단순히 조율하는 방식이 아닌, 아키텍처 설계부터 데이터 구축·학습까지 전 과정을 KT가 직접 수행하는 ‘프롬 스크래치(From scratch)’ 방식으로 개발됐다.

KT는 믿:음 2.0 기반의 맞춤형 기업간거래(B2B) AI 솔루션을 산업 전반에 제공하고, 공공·금융·교육·법률 분야에서 실증을 추진할 계획이다. 현재 공개된 버전에서 성능을 더 높인 믿:음 2.0 프로(Pro) 공개도 준비하고 있다. 믿:음 2.0의 추론·멀티모달 기능 확장과 함께 국산 AI 반도체 기업 리벨리온과의 협력을 통한 AI 생태계 강화 등도 계획하고 있다.

신동훈 KT 생성형AI 랩장(최고AI책임자·상무)은 “믿:음 2.0을 국내 다양한 산업 분야에 적용해 ‘한국적 AI’의 시장 확산에 본격적으로 나설 것”이라며 “한국적 AI의 실용화와 기술 발전을 이끄는 핵심 주체로 자리매김하겠다”라고 말했다.

정두용 기자(jdy2230@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>