탐지기술보다 발전 속도 빨라…AI 워터마크가 대안

딥페이크 기술을 이용한 화상통화 영상 장면 [울산경찰청 제공]

국내외 기업들이 딥페이크 생성 기술을 따라잡기 위해 탐지기술 개발에 속도를 내고 있다. 인공지능(AI)으로 만들어낸 딥페이크 창작물을 AI 모델을 활용해 다시 구분하는 방식이다.

다만 일각에서는 탐지기술 만으로 악의적인 딥페이크 사용을 따라잡기 역부족이라며 AI 생성물임을 표시하는 ‘워터마크’ 도입 등 제도적인 보완이 필요하다는 지적도 나온다.

▶딥페이크 잡는 AI 등장했지만…탐지기술 미흡=7일 IT업계에 따르면 국내외 딥페이크 탐지 기업들은 AI 모델을 활용해 영상, 이미지, 음성의 이상 징후를 파악하고 있다. AI 모델에 조작되지 않은 콘텐츠와 딥페이크 창작물을 다량으로 학습시켜 ▷얼굴의 미세한 움직임 ▷눈 깜빡임 패턴 ▷부자연스러운 입 모양 ▷혈류 및 세부적인 피부 특징 ▷음성 주파수의 변화를 감지한다.

딥페이크 생성모델을 감지해 진위를 가리기도 한다. 미국 국방부(DoD)와 딥페이크 창작물 감지 계약을 체결한 하이브 AI는 이미지를 입력하면 달이(DALL·E), 그록(Grok), 미드저니(Midjourney), 파이어플라이(Firefly) 등 어떤 AI 모델로 생성됐을 가능성이 높은지 확률로 평가한다.

기업들은 높은 탐지율을 강조하고 있지만, 딥페이크 창작 기술의 발전 속도를 따라잡지 못하는 상황이다. 하이브 AI의 탐지 프로그램에 헤럴드경제와 오픈서베이가 일반인을 대상으로 진행했던 딥페이크 판독 문제를 풀게 한 결과, 일반인보다 정답률은 높았지만 실물을 찍은 사진을 딥페이크로 오인하기도 했다.

권태경 연세대 정보대학원 교수는 “딥페이크 탐지 기술 성능이 과거에 비해 크게 발전했지만, 딥페이크 생성 기술은 더 빠르게 앞서나가고 있다”며 “이미 학습한 데이터와 유사한 이미지, 영상물이라면 탐지율이 90% 수준니지만, 학습하지 않은 내용은 60% 정도로 상당히 낮다”고 설명했다.

▶모호해진 ‘진짜’의 경계…워터마크·딥페이크 가중처벌 등 대안=딥페이크 기술이 활발하게 사용되고 있는 만큼 그 자체로 문제 삼기보다 AI 창작물임을 명시하고 악용 사례를 엄벌해야 한다는 제안도 나온다. 실제로 찍은 사진을 보정하기 위해 AI를 활용하거나, AI 앵커를 도입해 뉴스를 진행하는 등 점점 더 진짜와 가짜의 경계가 모호해지고 있기 때문이다.

이성엽 고려대 기술경영전문대학원 교수는 “내년부터 시행되는 AI기본법에 AI 창작물임을 표기하도록 명시했고, 시행령에서 구체적인 방안을 논의 중”이라며 “전문가도 딥페이크 창작물을 구분하기 어려울 정도로 기술력이 높아져 워터마크 도입이 필수적이다”고 말했다.

이어 “악의적인 창작자들은 콘텐츠의 영향력을 높이기 위해 워터마크 표시를 회피할 가능성이 높다”며 “콘텐츠를 유통하는 플랫폼 사업자가 문제되는 콘텐츠를 차단·삭제하도록 책임을 강화해야 한다”고 덧붙였다.

황석진 동국대 국제정보보호대학원 교수는 “딥페이크 기술을 악용했을 때 가중처벌 하는 방안이 필요하다”며 “딥페이크 기술로 타인을 사칭해 보이스피싱 범죄를 일으키거나, 타인의 신체를 합성해 성적수치심을 느끼게 할 경우 더욱 강력하게 처벌해야 한다”고 강조했다. 권제인·박혜림 기자