수능, AI에 풀게 했더니…구글 제미나이 92점, 국내AI 20점대 [팩플]

국내 기업들이 개발한 인공지능(AI) 모델들에 수학능력시험(수능) 문제 등을 풀게 한 결과 해외 AI에 비해 크게 낮은 점수를 받은 것으로 나타났다. 국내 AI 업계는 모델의 용도 차이에 따른 결과라는 입장이다.

━

무슨 일이야

15일 김종락 서강대 수학과 교수 연구팀은 ‘국가대표 AI’ 도전 모델들의 성능 평가 결과를 공개했다. 평가 대상은 네이버, NC AI, LG AI연구원, SKT, 업스테이지 등 과학기술정보통신부(과기정통부)의 독자 AI 파운데이션 모델 프로젝트에 참여하고 있는 5개 국내 기업의 AI 모델과 오픈AI, 구글, 딥시크 등 해외 AI 기업의 최신 모델 5개다. 연구팀은 수능 수학의 네 분야(공통과목, 확률과 통계, 미적분, 기하)에서 가장 난도가 높은 문제 5개씩 20문제, 국내 논술·인도 대학 입시 10문제씩, 일본 도쿄대 공과대학 대학원 입시 10문제 등 총 50개 문제를 선별해, AI에 풀게 했다.

그 결과 5개 해외 AI모델은 전부 70% 이상 정답률을 기록했다. 특히 구글의 최신모델 ‘제미나이 3 프로’는 50문항 중 46문제를 맞춰 92% 정답률을 보였다. 앤스로픽의 클로드가 84%, xAI의 그록이 82% 정답률로 뒤를 이었다. 반면 국내 AI 기업의 모델들은 이들과 비교해 정답률이 확연히 떨어졌다. 업스테이지의 ‘솔라 프로 2’(58%)를 제외하고는 대부분 20%대 정답률을 보였다. 연구팀이 수학올림피아드, 대학 수학 개념을 재구성해 자체적으로 개발한 데이터셋인 ‘엔트로피 세트’ 문제에서도 해외 AI 모델들은 80점을 넘긴 반면, 국내 AI 모델은 7.1~53.3점을 기록했다. 김종락 교수 연구팀은 “국내 모델 수준이 해외 프론티어 모델에 비해 뒤처진다는 것을 알 수 있었다”고 평가했다.

정근영 디자이너

업계에선 평가받은 국내 AI 개발사들이 업무용 AI 개발에 주력해 온 만큼, 수학 문제 풀이 점수는 낮을 수밖에 없다는 입장이다. 한 응용 AI 스타트업 최고기술책임자(CTO)는 “국내 AI 개발사들 목적은 AI 에이전트 같은 산업용 AI를 개발하려는 것”이라며 “(수능 수학으로 평가할 때) 한국 LLM의 성적이 낮게 나올 수 밖에 없다”고 말했다. 평가에 포함된 일부 모델이 사전 학습 방식(학습된 데이터를 기반으로 정답일 확률이 높은 답을 내놓는 방식) AI인 점도 한계다. 단계별로 검증을 거치는 추론 방식인 해외 모델들과 달리 사전학습 방식 AI는 수학·코딩 등 논리적 문제풀이에 상대적으로 약하다.

━

소버린 AI 경쟁력은

배경훈 부총리 겸 과학기술정보통신부 장관이 15일 오전 세종시 정부세종청사 인근 식당에서 열린 과학기술정보통신부 기자간담회에서 기자들과 질의응답을 하고 있다. 사진 과학기술정보통신부

이 같은 평가 결과를 두고 세계 10위권 안에 드는 독자 AI 파운데이션 모델을 개발하려는 목표를 달성하기 위해선 보다 정교한 전략이 필요하다는 의견이 나온다. 배경훈 부총리 겸 과기정통부 장관은 15일 세종시에서 가진 기자 간담회에서 관련 질문이 나오자 “독자 AI 파운데이션 모델을 개발하는 기업들은 그동안 사업적 목적에 맞게 AI 모델을 만들어왔고, 과학과 수학 등에 특화된 추론형 AI 모델을 개발을 위한 데이터 학습이 부족했던 게 사실”이라며 “예를 들어 화학 분야의 분자 구조식을 AI가 인식할 수 있는 형태로 데이터를 변환하는 등 각 분야별 특화 데이터를 만들어 학습시킨다면 글로벌 톱10에 해당하는 경쟁력을 가질 수 있다”고 말했다.

수학 등 모든 학문을 잘하는 AI 개발은 현실적으로 어려운 만큼 서비스에 직접 쓰일 수 있는 경량화된 AI 개발에 집중해야 한다는 취지다. 네이버 관계자는 “큰 모델은 그만큼 답을 내는데 시간이 오래 걸리거나 비용이 많이 드는 문제가 생기기 때문에 서비스에 적용하는 것을 목표로 모델을 만들고 있다”며 “동일 규모 모델에 비해 성능이 잘 나오게 만드는 기술을 먼저 확보하려고 하고 있다”고 했다. 카카오도 다양한 자사 서비스에서 활용될 수 있도록 경량화된 모델인 카나나 나노 등 모델 개발에 주력하고 있다.

김민정·오현우 기자 kim.minjeong6@joongang.co.kr

▶ 중앙일보 / '페이스북' 친구추가

▶ 넌 뉴스를 찾아봐? 난 뉴스가 찾아와!

ⓒ중앙일보(https://www.joongang.co.kr), 무단 전재 및 재배포 금지