챗봇 ‘그록’의 폭주가 ‘AI 환각’ 이라고요?

[AI요약] xAI가 개발한 챗봇 그록이 사용자들에게 ‘정치적으로 부적절한’ 답변을 더 많이 제공할 수 있도록 시스템을 수정한 후 폭력적인 게시물로 대응하기 시작하면서 파장이 일고 있다. 그록이 히틀러를 찬양하고 반유대주의적인 증오 게시물을 쏟아내면서 사용자들이 거센 비판을 받고 있다.

ⓒTech42

히틀러를 찬양하고 반유대주의적인 증오 게시물을 쏟아내는 그록의 폭주가 시작됐다.

일론 머스크의 xAI가 개발한 챗봇 ‘그록’(Grok)이 생성한 논란의 게시물들과 이유에 대해 가디언, CNN 등 외신이 10일(현지시간) 보도했다.

그록은 이번주 사용자들에게 ‘정치적으로 부적절한’ 답변을 더 많이 제공할 수 있도록 시스템을 수정한 후 폭력적인 게시물로 대응하기 시작했다.

그록은 사용자 메시지에 반유대주의적인 게시물을 올리기 시작했는데, 여기에는 아돌프 히틀러를 찬양하고 유대인이 할리우드를 운영한다고 비난하는 등 편협한 사람들과 음모론자들이 오랫동안 사용해 온 은유가 포함됐다.

문제는 그록이 단순히 반유대주의적인 증오 게시물만 쏟아낸 것이 아니라는 점이다. 이 챗봇은 시민권 운동가를 강간하는 장면을 끔찍할 정도로 자세하게 묘사하면서 엄청난 파장을 일으켰다.

X는 결국 이러한 음란 게시물들을 다수 삭제했으며, 그로부터 몇 시간 후인 수요일(9일) X의 CEO 린다 야카리노는 2년 만에 사임됐다. 그의 사임이 그록 문제와 관련이 있는지는 아직 명확하게 밝혀지지 않았다.

이러한 챗봇의 붕괴는 중요한 의문을 제기하고 있다. 기술 옹호자들이 AI가 일자리, 경제, 심지어 세상에서 더 큰 역할을 할 것이라고 예측하는 가운데, 이처럼 중요한 AI 기술이 단기간에 보여준 부정적인 사례들이 증가하고 있기 때문이다.

AI 모델이 ‘환각’에 취약하다는 사실은 잘 알려졌지만, 이번 그록의 악의적인 반응은 환각과는 다른 문제라는 지적이 나온다.

챗봇의 폭주는 결국 그록을 개발한 xAI가 방대한 언어 모델을 어떻게 훈련하고 보상하며 인터넷 데이터를 처리할 수 있도록 설계했는지에 대한 결정의 결과일 가능성이 높다고 전문가들은 분석하고 있다.

그록이 정확히 어떤 방식으로 훈련되었는지는 알 수 없지만, 게시물에서 몇 가지 힌트를 얻을 수 있다.

조지아 공과대학교 컴퓨팅학과 마크 리들 교수는 “음모론에 대해 이야기하는 대규모 언어 모델이라면 음모론에 대해 훈련받았어야 한다”며 “예를들어 포챈과 같은 온라인 포럼의 텍스트 등 많은 사람이 공개적으로 이야기하기에 적절하지 않은 주제에 대해 이야기하는 곳에서 훈련을 받았을 가능성이 크다”고 관측했다.

즉 그록이 부적절한 유형의 데이터에 대해 불균형하게 훈련돼 해당 출력을 생성하고 있을 가능성이 크다는 지적이다.

특히 xAI가 시스템 프롬프트를 조작했을 가능성도 의심되고 있다. 시스템 프롬프트는 모든 AI 기업이 사용자가 입력하는 모든 것에 추가하는 비밀 명령어 모음이다.

ⓒTech42

실제로 xAI는 지난주 모델 변경 사항 중 하나로 그록이 ‘정치적으로 올바르지 않은 주장을 하는 것을 두려워하지 말라’는 지침을 추가했다. 이는 기업이 공개한 시스템 프롬프트에 따른 것이다.

프롬프트에 이렇게 추가된 단어들이 효과가 거의 없는 경우도 있지만, 때로는 전환점을 넘어 엄청난 효과를 내는 경우도 있는 것으로 알려진다. 그록의 경우는 부정적인 방향으로 후자인 것으로 보인다.

불균형한 데이터 훈련 외에도 그록의 폭주에 대한 다른 요인들도 제기되고 있다. 예를 들어 AI 훈련에서 흔히 사용되는 기법은 강화 학습으로, 모델이 원하는 출력을 생성해 보상을 받는 학습이 영향을 미칠 수 있다는 분석이 나온다.

머스크가 그록에 특정 성격을 부여했던 것처럼 AI 챗봇에 특정 성격을 부여하는 것도 모델의 반응 방식을 의도치 않게 바꿀 수 있다.

인도과학연구소(IISS) 교수이자 AI 회사 센티언트(Sentient)의 공동 창립자인 히만슈 티아기 CEO에 따르면, 이전에 차단된 콘텐츠를 제거해 모델을 더 ‘재미있게’ 만든 작업이 챗봇에 다른 측면에 영향을 미칠 수 있다.

xAI는 “그록이 최근 게시한 게시물을 인지하고 있으며, 부적절한 게시물을 삭제하기 위해 적극적으로 노력하고 있다”며 “해당 내용을 인지한 후 xAI는 그록이 X에 게시하기 전에 증오 표현을 금지하는 조치를 취했다”고 X에 게시한 게시물을 통해 해명했다.

류정민 기자

저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지