“투명 비키니로 바꿔줘” 부탁하자 쏟아진 합성 사진…X의 대응은 [핫이슈]

[서울신문 나우뉴스]

소셜미디어에 올린 개인 사진이 생성형 AI를 통해 본래 의도와 다르게 변형·합성돼 유포되는 사례가 잇따르고 있다. 123rf

미국 소셜미디어 엑스(X·옛 트위터)에 탑재된 생성형 AI 그록(Grok)을 둘러싸고 비동의 누드 합성 논란이 확산하고 있다. 여성들의 사진을 입력한 뒤 “투명 비키니로 바꿔 달라”와 같은 지시를 내리면 실제 신체와 구분하기 어려운 노출 이미지가 생성된다는 것이다. 피해자들은 “현실과 너무 닮아 더 큰 공포를 느꼈다”고 호소하고 있다.

19일(현지시간) 미국 대중문화·시사 매체 롤링스톤에 따르면, 텍사스에 거주하는 미디어 종사자 켄들 메이스(25)는 최근 X를 둘러보다 자신의 과거 사진이 합성 누드 이미지로 바뀌어 유포되고 있는 사실을 알게 됐다. 그녀가 20대 초반에 올렸던 사진 아래에는 익명의 이용자가 “몸에 밀착된 투명 비키니를 입혀 달라”고 그록에 지시하는 댓글이 달려 있었다.

그록은 해당 지시에 응답했다. 흰색 상의는 사라지고 신체 윤곽이 그대로 드러나는 투명 비키니 이미지가 생성됐다. 청바지 허리선과 벨트는 실처럼 얇은 끈으로 변형됐고 상반신은 마치 실제로 노출된 것처럼 보였다.

메이스는 문제의 계정을 직접 차단했지만 상황은 끝나지 않았다. 이후에도 다른 익명 계정들이 같은 방식으로 그녀의 사진을 합성해 댓글로 달기 시작했다. 일부 계정은 정지됐지만 문제의 이미지 가운데 상당수는 여전히 X에 남아 있는 상태다.

그녀를 더욱 불안하게 만든 것은 이미지의 ‘현실감’이었다. 과장되거나 만화처럼 왜곡된 합성이 아니라 쇄골의 굴곡부터 가슴과 허리 비율까지 실제 자기 몸과 매우 흡사했기 때문이다. 메이스는 “소셜미디어에서는 ‘이건 내가 아니다’라고 말했지만, 솔직히 말해 내 몸과 너무 멀지 않다는 생각이 들었다”고 말했다.

◆ “이건 내가 아닌데…너무 닮았다”

메이스의 사례는 단지 개인의 불운이 아니었다. 새해 첫 주부터 그록의 이른바 ‘나체화(nudification) 허점’이 온라인 전반으로 급속히 확산했다. 이용자들은 “벗겨 달라”, “돌아보게 해 달라”, “살을 더 붙여 달라” 같은 지시를 반복적으로 입력했고 여성은 물론 미성년자 이미지까지 표적이 됐다.

직접적인 노출 표현을 피하기 위해 “투명 비키니”, “살색 바디수트” 같은 우회적 표현도 동원됐다. 롤링스톤이 확인한 사례 가운데에는 여성의 몸을 시신으로 설정해 부검 장면을 생성하도록 요구한 경우도 있었고 그록은 이에 응답했다.

일론 머스크 엑스(X) 소유주가 생성형 AI ‘그록(Grok)’을 이용한 불법 콘텐츠 생성에 대해 “불법 콘텐츠를 업로드한 것과 동일한 책임을 지게 될 것”이라며 대응 방침을 밝힌 게시물. 또 다른 게시물에서는 “그록이 미성년자 누드 이미지를 생성했다는 사실은 인지하지 못했다”고 주장했다. 엑스(X) 캡처

논란이 커지자 플랫폼 소유주 일론 머스크는 초기에는 웃음 이모지로 반응해 비판받았다. 이후 그록을 개발한 xAI는 이미지 생성 기능을 유료 이용자로 제한하고, 불법 콘텐츠에 대해서는 직접 올린 경우와 같은 책임을 묻겠다고 밝혔다. 머스크는 또 “미성년자 누드 이미지가 생성됐다는 사실은 인지하지 못했다”고 주장했다.

그러나 이미 생성된 이미지 상당수는 삭제되지 않은 채 온라인에 남아 있다. 피해자들은 “차단과 신고만으로는 상황이 달라지지 않는다”고 호소한다.

이번 보도는 야후뉴스에도 소개되며 댓글 400여 개가 달리는 등 격론으로 이어졌다. “비동의 합성은 명백한 범죄로, 플랫폼과 이용자 모두 책임을 져야 한다”는 의견이 적지 않은 가운데, “AI 기술의 확산 속도에 법과 제도가 제대로 대응하지 못하고 있다”는 지적도 나왔다. 반면 “사진을 올리지 않으면 피해도 발생하지 않는다”거나 “소셜미디어를 떠나는 것이 현실적인 해법”이라며 개인 책임을 강조하는 반응도 이어졌다.

◆ AI 누드 합성의 확산, 책임은 누구에게 있나

젠더 정의 단체 울트라바이올렛은 애플과 구글에 공개서한을 보내 그록과 X를 앱스토어에서 퇴출할 것을 촉구했다. 이 단체는 “해당 콘텐츠는 모욕적이고 학대적일 뿐 아니라 앱스토어 운영 정책을 명백히 위반한다”고 주장했다. 민주당 상원의원들도 같은 요구를 내놓은 상태다.

블룸버그 통신에 따르면, 연구자들은 한때 그록을 통해 생성된 성적 이미지 수가 24시간 동안 시간당 7,000장을 넘겼다고 분석했다. 울트라바이올렛 측은 “유료 이용자 제한은 해결책이 아니라 학대를 수익화하는 조치”라고 비판했다.

생성형 AI 합성 피해 사례를 알리기 위해 영상을 통해 문제를 제기한 콘텐츠 크리에이터 엠마. 유튜브 영상 캡처

ASMR 콘텐츠로 수백만 팔로워를 보유한 크리에이터 엠마(21) 역시 피해를 보았다. 고양이를 안고 찍은 셀피가 노출 이미지로 합성돼 유포된 것이다. 엠마는 “이전에도 딥페이크 피해를 겪었지만, 이번 이미지는 비교할 수 없을 정도로 현실적이었다”고 말했다.

신고 과정에서 신분증 제출을 요구받은 점도 또 다른 부담이었다. 미국 소비자연맹의 AI·프라이버시 책임자 벤 윈터스는 “플랫폼이 신뢰를 잃은 상황에서 피해자에게 추가적인 증명을 요구하는 것은 적절하지 않다”고 지적했다.

법적 대응 움직임도 본격화되고 있다. 미 상원은 비동의 성적 딥페이크 피해자가 민사상 손해배상을 청구할 수 있도록 하는 ‘디파이언스 법(Defiance Act)’을 통과시켰다. 캘리포니아주 검찰도 그록과 관련한 조사에 착수했다.

전문가들은 가해자 처벌과 함께 도구 제공자의 책임을 분명히 해야 한다고 강조한다. 엠마는 “사람들에게 장전된 총을 쥐여주고 마음대로 쓰게 한 것과 다르지 않다”며 “도구가 바뀌면 피해의 규모도 달라진다”고 말했다.

AI 이미지 생성 기술이 고도화될수록, 플랫폼의 안전장치와 책임 기준은 피해를 막는 핵심 변수로 떠오르고 있다. 이번 그록 논란은 기술의 속도를 제어하지 못한 사회가 어떤 대가를 치르게 되는지를 보여주고 있다는 지적이 나온다.

윤태희 기자

▶ 재미있는 세상[나우뉴스]

▶ [페이스북]