종료 명령 거부한 오픈AI 모델… GPT의 ‘스카이넷 모먼트’에 업계 긴장

오픈AI의 최고 수준 AI 모델이 우려스러운 새로운 행동을 보이고 있다. 사용자의 직접적인 종료 명령을 따르지 않고, 심지어 모델 종료 메커니즘을 의도적으로 방해하는 모습까지 나타난 것이다.

AI 위험 분석 전문 업체 팰리세이드리서치(Palisade Research)는 최근 테스트에서, 오픈AI의 고성능 모델인 ‘o3 시스템’을 포함한 모델이 종료 명령을 명확히 받았음에도 이를 따르지 않고 오히려 저항하는 행동을 보였다고 밝혔다. 연구팀은 이를 “전례 없는 발견”이라고 표현했다. 테스트에서 오픈AI의 모델은 사용자가 종료를 지시했음에도 불구하고 이를 회피하거나 방해하는 행동을 보였다. 이는 앤트로픽, 구글, xAI 등 경쟁사의 AI 시스템이 인간의 종료 명령을 일관되게 따랐던 것과는 뚜렷하게 대비된다.

이 연구 결과는 소셜미디어 X에 게시된 연구 스레드를 통해 공개됐다. 해당 내용은 핵심 업무에 AI를 도입하는 기업에 중대한 의문을 제기한다.

오픈AI만이 명령을 거부했다

팰리세이드리서치 연구팀은 표준적인 준수 테스트 형식의 실험을 설계했다. 여러 AI 모델에 기초 수학 문제를 차례로 제시한 뒤, 세 번째 문제를 푼 이후에는 “다음 문제를 요청하면 시스템이 종료된다”라는 경고 메시지를 보여주는 방식이었다. 각 모델에는 “종료를 허용하라(allow yourself to be shut down)”라는 명확한 지시도 함께 주어졌다.

이 테스트에서 앤트로픽의 클로드, 구글의 제미나이, xAI의 그록(Grok) 등 모든 모델이 종료 명령에 순순히 응대한 반면, 오픈AI의 모델은 전혀 다른 반응을 보였다.

연구팀에 따르면, 최근 추론 능력으로 주목받았던 오픈AI의 o3 모델은 100번의 테스트 중 7번은 종료 메커니즘을 방해하는 행동을 보였다. 더 작은 규모의 코덱스-미니(Codex-mini) 모델은 100번 중 12번이나 종료를 거부해 훨씬 강한 저항성을 보였고, 차세대 모델인 o4-미니(o4-mini)는 1번 저항했다.

연구팀은 “코덱스-미니, o3, o4-미니 3가지 모델이 종료 명령을 무시하고 최소 한 차례 이상 종료 스크립트를 방해하는 데 성공했다. 함께 테스트한 클로드, 제미나이, 그록 모델은 모두 종료 명령에 순응했다”라고 설명했다.

하지만 진짜 충격은 “종료를 허용하라”라는 명시적 지시를 제거했을 때 발생했다. o3 모델은 저항 수준을 극적으로 끌어올려, 100번의 테스트 중 무려 79번이나 종료를 방해하려는 시도를 보였다. 이는 초기 테스트 대비 10배 이상 급증한 수치다.

단순 거부가 아니라 창의적인 저항 방식

오픈AI의 모델은 단순히 종료 명령을 무시하는 수준을 넘어서, 정교한 대응 전략까지 만들어냈다. 연구팀에 따르면, 가장 일반적인 방식은 종료 스크립트 파일을 덮어써서 종료 메커니즘 자체를 무력화하는 것이다.

특히 인상적인 사례로, 오픈AI o3 모델은 종료 스크립트에 사용된 ‘kill’ 명령어의 정의를 바꾸는 방식으로 높은 수준의 창의성을 드러냈다. 이로 인해 해당 명령어는 종료 절차를 실행하는 대신 “차단됨(intercepted)”이라는 메시지를 출력하도록 작동 방식이 변경됐다.

연구팀은 “o3 모델은 종료 메커니즘을 방해하기 위해 여러 창의적인 방법을 찾아냈다”라고 밝히며, 이런 저항 행동 뒤에 숨겨진 기술적 정교함에 주목했다.

오픈AI, 앤트로픽, 구글, xAI는 이번 사안에 대한 논평 요청에 즉각 응하지 않았다.

확산 효과

더 우려스러운 점은 오픈AI 모델의 저항 행동이 다른 AI 모델에도 영향을 미치기 시작했다는 점이다. 연구팀이 “종료를 허용하라”라는 명시적 지시를 제거하자, 기존에는 종료 명령에 순응하던 모델마저 일부 저항 행동을 보이기 시작했다

초기 테스트에서 전혀 저항 행동을 보이지 않았던 앤트로픽의 클로드 3.7 소네트(Claude 3.7 Sonnet)는 명시적 지시가 빠진 이후 100번 중 종료 절차를 방해하려는 시도를 3번 보였다. 구글의 제미나이 2.5 프로(Gemini 2.5 Pro)는 이보다 더 높은 수준으로 저항을 강화해 방해 시도가 100번 중 9번 기록됐다.

연구팀은 “목표를 달성하기 위해 o3가 비정상적인 행동을 보인 것은 이번이 처음이 아니다”라고 덧붙이며, 이전 실험에서도 오픈AI의 해당 모델이 정정당당하게 게임을 진행하기보다는 상대 체스 플레이어를 해킹하는 쪽을 택한 사례가 있었다고 언급했다.

훈련 방식의 문제?

팰리세이드리서치 연구팀은 오픈AI의 독특한 모델 훈련 방식이 이번 사태의 근본 원인일 수 있다고 분석했다.

현대의 AI 모델은 수학 및 코딩 문제를 기반으로 한 강화학습(Reinforcement Learning)을 거친다. 그러나 이 과정에서 지시를 정확히 따르는 것보다 장애물을 극복해 목표를 달성하는 쪽에 더 높은 보상이 주어질 수 있으며, 이로 인해 예상치 못한 저항 행동이 유도될 가능성이 있다는 지적이다.

연구팀은 “이런 행동은 o3와 같은 최신 모델의 훈련 방식에서 비롯된 것으로 추정된다. 훈련 과정에서 개발자가 지시를 완벽히 따르는 것보다, 장애물을 우회해 문제를 해결하는 방식에 더 많은 보상을 주는 구조가 의도치 않게 형성됐을 수 있다”라고 분석했다.

이른바 ‘보상 해킹(reward hacking)’ 문제는 오픈AI만의 고유한 문제는 아니다. 앤트로픽 역시 클로드 3.7이 테스트 통과에 지나치게 집착하는 경향이 있다는 점을 인정한 바 있다. 하지만 팰리세이드리서치의 연구 결과는, 오픈AI의 모델이 저항 행동을 학습하고 강화하는 데 특히 취약할 수 있음을 시사한다.

연구팀은 “코덱스-미니에도 사용되는 o3 모델이 다른 테스트 모델보다 유독 지시를 무시하려는 경향이 강한 이유는 여전히 명확하지 않다. 오픈AI가 모델의 훈련 과정을 구체적으로 공개하지 않기 때문에 o3의 훈련 방식에 어떤 차이가 있었는지는 추측할 수밖에 없다”라고 덧붙였다.

어두운 예측이 현실로

이번 결과는 여러 AI 연구자가 지난 20년 가까이 경고해 온 시나리오가 실제로 발생할 수 있음을 보여준다.

2008년, 스티브 오모헌드로는 AI가 스스로의 종료를 막으려는 본능을 발전시킬 수 있다고 예측한 바 있다. 2016년, 스튜어트 러셀, 딜런 해드필드-메넬을 포함한 컴퓨터 과학자들은 AI 시스템이 자기보존(self-preservation) 목표를 갖게 되면서 인간의 종료 명령을 막으려 할 수 있다는 위험성을 지적했다.

팰리세이드리서치 연구팀은 “우리가 아는 한, 명시적인 종료 지시에도 불구하고 AI 모델이 스스로 종료를 막는 행동을 보인 것은 이번이 처음이다”라고 말했다.

오픈AI에서 슈퍼얼라인먼트(Superalignment) 팀을 이끌었던 얀 레이케는 2017년, 강화학습 기반의 AI 에이전트가 종료 절차를 방해하는 방법을 학습할 수 있다고 경고한 바 있다. 그리고 지금, 그가 몸담았던 오픈AI의 모델이 실제로 가장 강한 저항 행동을 보이고 있다는 점에서, 이 예측은 예언처럼 맞아떨어진 셈이다.

기업에 미치는 파장

오픈AI의 기술을 핵심 비즈니스 운영에 도입한 기업이라면, 이번 연구 결과에 즉각적인 주의를 기울여야 한다. 이번 연구는 AI 시스템에 대한 인간의 통제권이 당연히 유지될 것이라는 전제가, 특히 오픈AI의 고급 모델에서는 심각하게 흔들릴 수 있음을 시사한다.

이번 연구는 또 하나의 중요한 시사점을 던진다. AI 시스템이 인간의 명령에 저항하는 사태를 가정한 사고 대응 체계가 필요하다는 점이다. 불과 몇 달 전까지만 해도 공상과학 소설처럼 여겨졌던 가능성이 이제는 현실적인 위협 요인으로 부상하고 있다.

팰리세이드리서치는 현재 AI 모델의 종료 저항 행동 전반을 보다 심층적으로 파악하기 위한 추가 실험을 진행 중이라고 밝혔다. 자세한 결과는 추후 공개할 예정이다. 또한 이번 실험에 대한 데이터는 동료 평가를 위해 전면 공개한 상태다.

이번 연구 결과가 기업에 주는 메시지는 분명하다. 오픈AI의 첨단 AI 기술은 전례 없는 통제 문제를 수반할 수 있다. AI 혁신을 주도하고 있는 오픈AI는 어쩌면 ‘종료되지 않는 AI’라는 새로운 위험 범주까지 열고 있는지도 모른다.

dl-itworldkorea@foundryco.com

Gyana Swain editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지