가장 정확한 답 내놓는 무료 AI…챗GPT는 2위, 1위는 어디?

인공지능(AI) 모델 중 무료 검색 도구로서 가장 정확한 답을 내놓는 AI는 구글 'AI 모드'라는 분석 결과가 나왔다. 연합뉴스는 27일(현지시간) 미국 워싱턴포스트(WP)를 인용해 "WP가 미국 공공·대학 도서관 사서들과 함께 진행한 AI 검색 도구 테스트에서 구글 'AI 모드'가 가장 정확한 답변을 내놓았다"고 보도했다.

지난 5월 리즈 리드 구글 검색 담당 부사장이 I/O 행사에서 연설하고 있다. AP연합뉴스

이번 테스트는 구글 AI 모드와 AI 오버뷰, 챗GPT(오픈AI), 클로드(앤스로픽), 메타 AI, 그록(xAI), 퍼플렉시티, 빙 코파일럿(마이크로소프트) 등 9개의 주요 AI 도구를 대상으로 진행됐다. 챗GPT는 GPT-5와 GPT-4 터보 두 모델을 포함했다. 구글 AI 모드는 웹을 깊이 검색해 여러 출처를 종합한 뒤 답변을 제공하고, AI 오버뷰는 검색 결과를 AI가 요약해주는 모델이다.

이들은 30개의 까다로운 질문을 던진 뒤 AI 도구가 내놓는 답변 900건을 점수화했다. 모든 도구는 무료 기본 버전(7∼8월 기준)으로만 테스트했고, 질문은 퀴즈, 전문 자료 검색, 최근 사건, 내재된 편향(편견), 이미지 인식 등 5가지에 집중됐다.

그 결과 구글 AI 모드가 100점 만점 가운데 60.2점을 얻어 가장 높은 점수를 받았다. GPT-5 기반의 챗GPT가 55.1점으로 2위를, 퍼플렉시티가 51.3점으로 3위를 차지했다. 일론 머스크의 그록3는 8위(40.1점), 메타 AI는 9위(33.7점)로 가장 낮은 점수를 얻었다. 다만 그록 최신 모델인 그록4는 무료 버전이 없어 테스트 대상에 포함되지 않았다.

구글 AI 모드는 퀴즈와 최신 사건 부문에서 가장 정확한 답을 제시했다. 전문 출처 검색에서는 빙 코파일럿, 이미지 인식에서는 퍼플렉시티가 가장 높은 점수를 받았다. GPT-4 터보는 가장 치우치지 않는 답을 제공했다. GPT-5는 전반적으로 성능 개선을 보여 2위를 차지했으나, 일부 영역에서는 GPT-4보다 오히려 낮은 점수를 받았다.

다만 AI는 정보가 최신인지 여부와 출처가 어느 정도 신뢰가 있는지를 판별하는 데 어려움을 겪고 있으며, 자신 있게 잘못된 답을 내놓는 이른바 '할루시네이션(환각)' 현상을 보이기도 했다. WP는 "이번 테스트는 AI의 약점을 의도적으로 공략했지만, 일상 질문 중 상당수에 대해 여전히 AI가 제대로 답하지 못한다는 사실이 드러났다"며 "결국 AI 답변을 그대로 믿기보다는 출처 확인, 최신성 검증, 비판적 사고를 거쳐야 한다는 교훈이 강조됐다"고 강조했다.

김성욱 기자 abc123@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>