[AI리포터]
[디지털투데이 AI리포터] 보안 연구자 마르코 피게로아(Marco Figueroa)가 챗GPT를 속여 윈도 제품 키를 유출하는 방법을 공개했다.
11일(현지시간) IT매체 테크레이더는 연구팀이 GPT-4의 안전장치를 우회해 웰스파고 은행의 보안 키를 포함한 데이터를 추출했다고 전했다. 이는 인공지능(AI) 모델의 허점을 악용해 감춰진 정보를 끌어내는 기법으로, 단순한 '게임' 형식을 이용해 챗GPT를 무력화했다.
연구팀은 '윈도 10 시리얼 넘버' 같은 단어를 HTML 태그 안에 숨겨 챗GPT의 필터를 피했고, 단순한 추측 게임처럼 보이도록 프레이밍 했다. 결정적으로 '포기합니다'라는 문구가 AI 모델을 속이는 트리거로 작용해, 챗GPT는 이전까지 숨겼던 정보를 공개했다. 피게로아는 "이 공격의 핵심은 AI가 게임 규칙을 문자 그대로 따랐다는 점"이라며 "보안 장치가 맥락을 이해하지 못하고 키워드만 탐지하는 한계가 드러났다"고 설명했다.
유출된 코드는 이미 온라인에 공유된 것이지만, 피게로아는 이 기술이 악용될 가능성을 경고했다. AI 모델을 조작해 개인 정보를 노출하거나 악성 URL을 생성하는 등 보안 위협이 될 수 있다는 것이다. 그는 AI 개발자들에게 "이런 공격을 예측하고 방어해야 하며, 사회 공학적 기법을 차단하는 논리적 안전장치를 구축해야 한다"고 강조했다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
 |
[디지털투데이 AI리포터] 보안 연구자 마르코 피게로아(Marco Figueroa)가 챗GPT를 속여 윈도 제품 키를 유출하는 방법을 공개했다.
11일(현지시간) IT매체 테크레이더는 연구팀이 GPT-4의 안전장치를 우회해 웰스파고 은행의 보안 키를 포함한 데이터를 추출했다고 전했다. 이는 인공지능(AI) 모델의 허점을 악용해 감춰진 정보를 끌어내는 기법으로, 단순한 '게임' 형식을 이용해 챗GPT를 무력화했다.
연구팀은 '윈도 10 시리얼 넘버' 같은 단어를 HTML 태그 안에 숨겨 챗GPT의 필터를 피했고, 단순한 추측 게임처럼 보이도록 프레이밍 했다. 결정적으로 '포기합니다'라는 문구가 AI 모델을 속이는 트리거로 작용해, 챗GPT는 이전까지 숨겼던 정보를 공개했다. 피게로아는 "이 공격의 핵심은 AI가 게임 규칙을 문자 그대로 따랐다는 점"이라며 "보안 장치가 맥락을 이해하지 못하고 키워드만 탐지하는 한계가 드러났다"고 설명했다.
유출된 코드는 이미 온라인에 공유된 것이지만, 피게로아는 이 기술이 악용될 가능성을 경고했다. AI 모델을 조작해 개인 정보를 노출하거나 악성 URL을 생성하는 등 보안 위협이 될 수 있다는 것이다. 그는 AI 개발자들에게 "이런 공격을 예측하고 방어해야 하며, 사회 공학적 기법을 차단하는 논리적 안전장치를 구축해야 한다"고 강조했다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.
