AI 학습도 과유불급…학습시간 길수록 성능 저하돼

[AI리포터]

[디지털투데이 AI리포터] AI의 학습 데이터가 많으면 많을수록 성능이 좋아지는 것이 사실일까?

14일 IT매체 테크레이더에 따르면 미국의 카네기멜론, 스탠퍼드, 하버드, 프린스턴 대학 연구진은 사전 학습 데이터가 많을수록 성능이 좋아진다는 기존 개념에 의문을 제기했다.

연구진은 2조3000억개의 토큰과 3조개의 토큰으로 학습된 2가지 버전의 OLMo-1B 모델을 비교했다. 그 결과, 더 광범위하게 학습된 모델은 알파카에벌이나 ARC와 같은 벤치마크에서 최대 3% 더 낮은 성능을 보인 것으로 알려졌다.

이러한 성능 저하는 점진적 민감도라는 현상과 관련이 있는데, 토큰 수가 증가함에 따라 모델은 더욱 취약해진다는 설명이다.

연구진은 사전 학습된 모델에 가우스 노이즈를 주입해 이를 입증했으며, 모델이 학습된 시간이 길수록 성능이 더 급격히 저하되는 것을 확인했다. 이러한 추가 학습으로 인해 성능이 저하되기 시작하는 지점을 변곡점이라고 한다. 변곡점에 도달하면 학습의 이점이 내부 불안정성의 위험보다 더 커지기 시작한다고 한다.

연구진은 "일명 '치명적인 과잉 학습'은 불가피할 수 있다. 특히 사전 학습과 미세 조정 작업이 잘못 조정된 경우 더욱 그렇다"고 경고하며 "사전 학습을 없애자는 것은 아니지만, 개발자가 어느 정도의 사전 학습이 충분한지 고려해야 한다고 생각한다"고 전했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>