구글, '제미나이' 기반 텍스트 임베딩 모델 공개..."최고 성능 달성"

[박찬 기자]

구글이 다양한 분야에서 광범위한 용도로 활용 가능한 새로운 임베딩 모델을 발표했다. 벤치마크에서도 최고의 성능을 보였다고 밝혔다.

구글은 7일(현지시간) 제미나이 개발자 API에 새로운 실험적 임베딩 모델인 '제미나이 임베딩(Gemini Embedding)'을 추가했다고 발표했다.

임베딩은 텍스트 입력을 숫자 표현으로 변환하는 과정으로, 데이터의 수치적 표현을 통해 의미적 의미와 맥락을 포착할 수 있도록 한다.

따라서 키워드 매칭보다 계산 비용이 저렴하고 처리 속도도 빠르다. 의미상 유사한 데이터는 가까운 임베딩 값을 가지기 때문에, 정확도도 개선된다.

문서 검색, 분류 등 다양한 용도에 활용된다. 특히 구글, 아마존, 코히어, 오픈AI 등 주요 기업들은 API를 통해 각각 임베딩 모델을 제공하고 있다.

구글은 이전에도 임베딩 모델을 제공했지만, 이 모델은 제미나이 계열에서는 처음으로 훈련됐다. 이 때문에 제미나이의 언어 이해와 미묘한 맥락을 물려받았으며, 광범위한 용도에 적용할 수 있게 됐다고 전했다.

"우리는 모델을 놀라울 정도로 광범위하게 학습시켜 금융과 과학, 법률, 검색 등 다양한 분야에서 뛰어난 성과를 거뒀다"라고 강조했다. 따라서 특정 도메인에 맞춰 별도 미세조정 필요 없이 뛰어난 성능을 보인다는 설명이다.

벤치마크 결과, 기존 최고의 임베딩 모델인 '텍스트-임베딩-004(text-embedding-004)'의 성능을 능가했다. 검색 및 분류와 같은 다양한 작업에서 텍스트 임베딩 모델의 순위를 매기는 'MTEB' 리더보드에서 평균 68.32를 달성, 텍스트-임베딩-004의 62.13을 넘어섰다.

또 이전 모델보다 더 큰 텍스트와 코드를 한번에 처리할 수 있으며, 지원하는 언어도 두배 많아 100개 이상으로 확대됐다.

구글은 제미나이 임베딩이 현재 실험 단계에 있으며, 아직 사용이 제한적이라고 밝혔다.

그러나 앞으로 몇달 안에 정식 출시할 계획이라고 덧붙였다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>