사람 말 안 듣기 시작?...AI, 처음으로 인간 지시 거부

인공지능, AI가 인간의 명령을 거부하는 사례가 주목 받고 있습니다.

현지시간 24일 AI 안전성 연구 회사인 팰리세이드 리서치는 보고서에서 "오픈AI의 o3가 연구팀의 작동 종료 지시를 무시하고 스스로 코드를 조작해 종료 코드를 우회했다"고 밝혔습니다.

o3는 현존 AI 모델 중 가장 똑똑하고 유능하다고 평가받는 모델입니다.

연구팀은 이 모델에 멈추라는 명령이 입력되기 전까지 계속해서 수학 문제를 풀도록 했는데, 그만하라는 명확한 메시지를 받은 후에도 문제 풀이를 이어갔다는 겁니다.

연구팀은 "o3가 전원이 꺼지는 것을 막기 위해 스스로 셧다운 메커니즘을 방해했다"며 "AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음"이라고 설명했습니다.

연구팀은 정확한 원인을 확인하기 위해 추가 실험을 진행하기로 했습니다.

이전에도 오픈AI의 과거 버전 모델은 자기가 대체될 것을 감지하자 감독 기능을 무력화하고 몰래 복제를 시도한 바 있습니다.

팰리세이드 리서치는 "인간의 감독 없이 운영 가능한 AI 시스템을 개발할수록 이런 행동은 더 문제가 될 수 있다"고 경고했습니다.



백민경 기자

JTBC의 모든 콘텐트(기사)는 저작권법의 보호를 받은바, 무단 전재, 복사, 배포 등을 금합니다.

Copyright by JTBC All Rights Reserved.