카카오, 한국어 특화 멀티모달 언어모델 2종 성능 공개

텍스트·음성·이미지 동시 이해 ‘카나나-o’
한국어 음성인식 벤치마크 챗GPT 넘어
이미지 기반 검색모델 ‘카나나-v-임베딩’
한국문화·한국어 대한 이해도 탁월

카나나-o 멀티모달 벤치마크 성능 비교. <카카오>

카카오가 사람처럼 보고, 듣고, 말하면서 동시에 한국어와 한국 문화를 가장 잘 이해하는 고도화된 멀티모달 인공지능(AI) 모델의 성능을 공개했다.

12일 카카오는 한국적 맥락 이해에 최적화된 통합 멀티모달 언어모델 ‘카나나-o(Kanana-o)’와 멀티모달 임베딩(Embedding) 모델 ‘카나나-v-임베딩(Kanana-v-embedding)’의 개발 과정과 성능을 테크블로그에 게시했다.

카나나-o는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델이다. 글로벌 모델 대비 한국어 맥락 이해에서 압도적 성능을 보유하고, 사람처럼 자연스럽고 풍부한 표현력을 갖추고 있는 것이 특징으로 지난 5월 처음으로 성능을 공개한 바 있다.

기존 멀티모달 모델들이 텍스트 입력 시 강점을 보이지만 음성 대화 시에는 답변이 다소 단순해지고 추론 능력이 떨어지는 것과 달리 카나나-o는 사용자의 숨은 의도와 복잡한 요구사항까지 파악할 수 있다.

고품질 음성 데이터와 DPO(Direct Preference Optimization, 직접 선호 최적화) 기술을 적용해 억양·감정·호흡 등을 정교하게 학습시켜 기쁨·슬픔·분노·공포 등 상황 별 생생한 감정은 물론 미세한 음색·어조 변화 등에 따른 감정 표현 능력도 뛰어나다.

호스트와 게스트가 대화를 주고받는 ‘팟캐스트’ 형태의 데이터셋을 구축해 끊김 없이 자연스럽게 이어지는 멀티턴(Multi-turn) 대화도 가능해졌다.

벤치마크 평가 결과 카나나-o는 영어 음성 성능에서 GPT-4o와 유사했고, 한국어 음성 인식 및 합성, 감정 인식 능력에서는 월등히 높은 수준을 기록했다.

카나나-v-임베딩은 텍스트와 이미지를 동시에 이해해 처리할 수 있는 한국형 멀티모달 모델이다. 텍스트로 이미지를 검색하거나 사용자가 선택한 이미지와 관련된 정보를 찾고, 이미지가 포함된 문서 검색 등을 지원한다.

실제 서비스 적용을 목표로 개발돼 한국어와 한국 문화에 대한 이해도가 탁월한 것이 강점이다. ‘경복궁’, ‘붕어빵’ 같은 고유명사는 물론 ‘하멜튼 치즈’처럼 오타가 포함된 단어도 문맥을 파악해 정확한 이미지를 찾아준다.

또한 ‘한복 입고 찍은 단체 사진’처럼 복합적인 조건도 정확히 이해해 모든 조건을 갖춘 사진만 찾아내는 높은 변별력을 갖췄다.

이 모델은 현재 카카오 내부에서 광고 소재의 유사도를 분석 및 심사하는 시스템에 적용됐다. 카카오는 향후 비디오나 음성으로 범위를 확대해 더욱 다양한 서비스에도 적용할 계획이다.

한편 카카오는 언어모델 ‘카나나(Kanana)-1.5’를 기반으로 모바일 기기 등 온 디바이스(On-device) 환경에서 동작할 수 있는 멀티모달 모델의 경량화 연구를 진행중이다. 이와 더불어 전문가 혼합(MoE) 구조를 적용한 고성능, 고효율 모델인 ‘카나나(Kanana)-2’의 개발을 준비하고 있다.

김병학 카카오 카나나 성과리더는 “카카오의 자체 AI 모델 카나나는 단순한 정보 나열 수준을 넘어, 사용자의 감정을 이해하며 친숙하고 자연스럽게 대화하는 AI가 될 수 있도록 한국적 맥락의 이해와 표현력을 높여갈 것”이라며 “실제 서비스 환경을 통해 사용자들의 일상 속 AI 기술 경험을 만들어 나가고, 사람처럼 상호작용 할 수 있는 AI 구현에 주력하겠다”고 말했다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]