‘빅젠 벤치’ 개발 LG AI연구원, 북미전산언어학회 최고논문상

김승원 카네기멜런대 박사과정 연구생, 서민준 KAIST 교수, 이문태 LG AI연구원 초지능랩장, 이경재 LG AI연구원 데이터스쿼드 리더(왼쪽 사진부터). LG 제공

LG AI연구원이 자연어처리(NLP) 분야 최고 권위 학회인 북미전산언어학회(NAACL)에서 가장 혁신적인 논문 1편에 수여하는 ‘최고논문상’을 수상했다고 30일 밝혔다.

수상 논문은 생성형 인공지능(AI) 모델 성능을 평가하는 새로운 벤치마크를 제시했다. 논문 1저자인 김승원 카네기멜런대 박사과정 연구생은 LG AI연구원 초지능랩 인턴 과정 중 이문태 초지능랩장, 이경재 데이터스쿼드 리더, 서민준 카이스트(KAIST) 교수 연구팀과 함께 ‘빅젠 벤치’를 개발했다.

LG AI연구원과 서 교수 팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, 매사추세츠공대(MIT), 워싱턴대 등 여러 대학 연구진이 참여했다.

기존 생성형 AI 모델 평가 방식은 유용성, 무해성 등 추상적인 개념 지표에 의존한다. 사람이 평가했을 때의 결과와 차이가 있고, AI 모델이 보유한 세부 역량 측정이 어렵다는 한계가 있다. 빅젠 벤치는 실제 사람의 판단과 유사한 결과를 도출하기 위해 다양한 상황과 주관적 요소를 고려하는 사람의 평가 방식을 모방했다. 지시사항 수행, 논리적 추론, 도구 사용 능력, 안전성 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류했다.

노도현 기자 hyunee@kyunghyang.com

▶ 매일 라이브 경향티비, 재밌고 효과빠른 시사 소화제!
▶ 주 3일 10분 뉴스 완전 정복! 내 메일함에 점선면 구독

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지