AI가 거짓말하는 이유…"단순한 학습 과정 때문"

[AI리포터]

인공지능(AI) 대규모 언어모델(LLM) [사진: 셔터스톡]

[디지털투데이 AI리포터] 대규모 언어 모델(LLM)이 잘못된 정보를 제공하거나 거짓 정보를 만들어내는 이유에 대한 연구가 진행됐다고 20일(현지시간) IT매체 아스테크니카가 전했다.

LLM이 정답을 알지 못할 때 부정확한 내용을 지어내는 것을 '작화증'(confabulation)이라고 한다. 미국 옥스퍼드 대학교 연구진에 따르면 LLM에 작화증이 일어나는 이유는 정확성을 학습하지 않기 때문이다. LLM은 단순히 방대한 양의 텍스트를 학습하고 이를 통해 인간처럼 보이는 문구를 생성하는 방법을 배운다.

또 학습에 사용된 텍스트 예시가 일관되게 어떤 내용을 사실로 제시하면 LLM은 이를 사실로 제시할 가능성이 높다. 그러나 학습에 사용된 예가 적거나 사실과 일치하지 않는 경우 LLM은 그럴듯하게 들리지만 틀릴 가능성이 있는 답변을 합성한다.

LLM은 여러 종류의 정답이 있는 경우에도 거짓 정보를 만들어낼 수 있다. 예를 들어 '파리', '파리에 있다', '프랑스 수도 파리'는 모두 '에펠탑은 어디에 있는가'에 대한 답이다. 따라서 작화증은 LLM이 정답을 표현하는 방법에 대해 확신하지 못하거나 정답을 식별할 수 없을 때 발생할 수 있다.

연구자들은 이를 해결하기 위해 의미론적 엔트로피(semantic entropy)라는 것에 집중했다. 이는 LLM이 평가한 통계적으로 가능성이 있는 모든 답을 평가하고 그중 몇 개가 의미적으로 동등한지 결정하는 것이다. 이를 통해 LLM이 정답을 가지고 있을 가능성이 높은지, 아니면 오류를 범할 가능성이 높은지를 판단할 수 있다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>