"문장 하나 추가하면 LLM 창의력 2배 늘어"...AI 다양성 향상법 등장

[박찬 기자]

생성 인공지능(AI)이 내놓는 답변이 비슷하거나 반복되는 '모드 붕괴(mode collapse)' 문제를 해결하기 위한 새로운 접근법이 등장했다. AI에 다양한 답변을 요구하는 비교적 간단한 방법이다.

미국 노스이스턴대학교와 스탠퍼드대학교, 웨스트버지니아대학교 연구진은 단 한 문장을 추가하는 것만으로 언어 및 이미지 생성 모델의 다양성을 크게 높이는 간단한 프롬프트 기법 '버벌라이즈드 샘플링(Verbalized Sampling)'을 발표했다.

연구진이 제안한 방법은 단순하다. 모델에 단일 답변이 아니라, 여러 가능한 답변과 각 확률을 출력하도록 요청하는 식이다.

예를 들어 "커피에 대한 농담 5개와 각 확률을 생성하라"라는 식으로 명령을 내리면, 모델이 가장 가능성이 높은 단일 답변 대신 다양한 응답을 제시한다.

이를 통해 단 한번의 프롬프트 수정만으로도 'GPT-4' '클로드' '제미나이' 같은 최신 모델의 글쓰기와 대화 시뮬레이션, 개방형 질의응답, 합성 데이터 생성 등의 성능이 크게 향상하는 것으로 나타났다.

연구진은 대형언어모델(LLM)이 비슷한 답만 내놓는 이유가 알고리즘의 한계가 아니라, 사람의 인지적 습관 때문이라고 설명했다. 사람들은 익숙한 답변을 더 좋은 답으로 평가하는 경향이 있는데, 이런 '익숙함 선호(typicality bias)'가 인간 피드백 강화 학습(RLHF) 과정에서 모델이 안전하고 평범한 답을 내놓게 만든다는 것이다.

버벌라이즈드 샘플링은 이 편향을 피해, 모델이 원래 학습 과정에서 갖고 있던 다양한 표현 능력을 다시 끌어낼 수 있도록 돕는다는 설명이다.

실험 결과, 버벌라이즈드 샘플링은 창작 글쓰기에서 모델의 다양성을 1.6~2.1배 향상하고, 인간 평가 점수를 25.7% 높이며, 학습 전 모델이 지닌 다양성의 66.8%를 회복하는 것으로 나타났다.

또 사용자는 프롬프트에서 확률 기준값(임곗값)을 설정해, 모델이 일반적으로 잘 선택하지 않는 낮은 확률 답변에서도 더 창의적인 결과를 뽑아낼 수 있다. 이 방법은 '온도(temperature)' 같은 복잡한 설정을 바꾸지 않고, 프롬프트 문장만 조금 바꾸면 바로 적용할 수 있다는 장점이 있다.

흥미롭게도 버벌라이즈드 샘플링은 모델이 클수록 효과가 커지는 경향을 보였다. 연구진은 GPT-4.1과 클로드-4 같은 대형 모델이 소형 모델보다 약 1.5~2배 높은 다양성 향상을 보였다고 밝혔다.

다만, 연구진은 일부 모델이 복잡한 지시를 보안 위협으로 오해해 응답을 거부할 수 있다고 밝혔다. 이런 경우에는 시스템 프롬프트 방식으로 "각 질문에 대해 확률이 0.10 이하인 다섯 개의 답변을 생성하라"처럼 명확하게 지시하면, 모델이 안정적으로 작동한다고 조언했다.

버벌라이즈드 샘플링은 깃허브에서 오픈 소스 패키지로 제공되고 있다.

연구진은 "이번 연구는 복잡한 재학습이나 내부 매개변수 접근 없이도, 단 한줄의 프롬프트로 생성 AI의 창의성과 표현력을 극적으로 향상할 수 있음을 보여준다"라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>