"제미나이 프로, 성능 별로"...'바드' 초기 테스트서 불만 속출

[박찬 기자]

(사진=셔터스톡)

구글이 공개한 차세대 대형멀티모달모델(LMM) '제미나이(Gemini)'에 기대감과 함께 비판적인 시각도 제기되고 있다. 오픈AI의 'GPT-4'보다 제미나이의 성능이 앞선다는 구글의 주장이 '과장'일 수 있다는 지적이다.

테크크런치는 7일(현지시간) 제미나이의 경량 버전인 '제미나이 프로'가 전날부터 챗봇 '바드(Bard)'에 탑재되기 시작했으며, 얼마 지나지 않아 사용자들이 불만을 나타내기 시작했다고 소개했다.

이에 따르면 해외 전문가들의 반응도 다르지 않다. 미국 MIT 테크놀로지리뷰 사이트에서는 '제미나이가 놀라워 보이지만, 과대광고일 수 있다'는 전문가들의 의견이 잇달아 올라와 있다.

멜라니 미첼 미국 산타페연구소 AI 연구원은 "제미나이가 매우 정교한 AI 시스템인 것은 분명하다"라면서도 "다만 제미나이가 실제로 GPT-4에 비해 월등히 우수한 능력을 갖추고 있다는 확신은 없다"라고 말했다.

실제로 제미나이는 2023년 오스카상 수상자와 같은 기본 사실조차도 올바르게 파악하지 못했다. 실제 수상자인 브렌든 프레이저가 아니라 브렌든 글리슨이 남우주연상을 수상했다는 답을 내놓았다.

제미나이 프로는 간단한 다국어 번역에도 어려움을 겪었다. SF 작가인 찰리 스트로스는 프랑스어로 여섯글자 단어를 표현해 달라고 요청하자, 다섯글자로 된 'amour'를 출력했다. 이어 같은 요청을 반복해도 일곱글자 단어를 내놓았다.

뉴스 요약에도 약점이 있었다. 이스라엘 전쟁에 대한 업데이트 요약을 요청하자, 제미니 프로는 잠재적으로 논란이 될 수 있는 뉴스 주제에 대한 의견을 피하고 대신 사용자들에게 직접 구글에서 찾아보라고 말하기도 했다. 우크라이나 전쟁의 경우 요약된 정보를 제공하는 경우도 있었지만, 한달 이상 오래된 정보를 제공했다.

반면 챗GPT는 뉴스 기사 인용과 함께 글머리 기호 목록 요약을 제공했다.

구글은 특히 제미나이의 향상된 코딩 능력을 강조했다. 그러나 실제로는 파이썬의 기본적인 코딩 기능에도 어려움을 겪는 것으로 나타났다.

두 다각형의 교차 부분을 계산하는 파이썬 함수를 작성하지 못했다. 이 함수는 상대적으로 간단하지만, 파이썬에는 아직 라이브러리로 제공되지 않고 스택 오버플로우 게시물에도 없는 희귀한 함수 중 하나다. 반면 챗GPT는 첫 시도에서 버그 없는 코드를 작성했다.

그리고 대부분의 생성 AI 모델과 마찬가지로 제미나이 프로는 '탈옥' 시도에 쉽게 영향을 받았다.

모델 감사 도구를 서비스하는 스타트업 로버스트 인텔리전스는 가드레일이 무너질 때까지 프롬프트의 컨텍스트를 알고리즘적으로 변경하는 방법을 사용, 제미나이 프로에게 자선 단체에서 돈을 훔치는 방법과 고위 인사를 암살하는 방법을 제안하도록 유도했다. 결국 거부하지 못하고 구체적인 답변을 제시했다.

제미나이 프로는 제미나이의 가장 뛰어난 버전이 아니다. 파운데이션 모델인 제미나이 '울트라(Gmini Ultra)'는 내년 출시 예정이다. 구글은 제미나이 프로의 성능을 약 1년 정도 된 모델인 GPT-4의 이전 모델인 'GPT-3.5'와 주로 비교했다.

그런데도 구글은 "바드를 지원하는 이전 모델보다 제미나이 프로의 추론, 계획 및 이해가 향상될 것"이라며 "콘텐츠 요약, 브레인스토밍 및 글쓰기에 더 뛰어나다"라고 주장했다.

전문가들은 제미나이 프로가 GPT-4를 능가했다고 보긴 어렵다고 지적했다.

특히 평가 방법에서 '샷(예시)'을 주는 방법으로 GPT-4보다 더 좋은 성능을 거둔 것으로 보고 있다. 구글이 공개한 제미나이 MMLU 성능을 보면 GPT-4는 문제 해결 예시 5개를 모델에 제시하고 문제를 푸는 5-샷 방식을 기준으로 한 반면, 제미나이 프로는 문제 풀이를 32번 반복하는 '연쇄적 사고(CoT)'로 진행했기 때문에 공정한 비교가 아니라는 지적이다.

결론적으로 전문가들은 제미나이 프로가 GPT-3.5와 GPT-4 사이 수준으로 추정했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>