[K-과학수사] 눈으로는 구별 불가능한 ‘딥페이크’... 국과수 AI가 3초 만에 잡아낸다

“이 사진은 진짜일까요, 인공지능(AI)이 만든 걸까요?”

지난 8일 원주 국립과학수사연구원 본원. 임성호 연구사가 화장을 짙게 한 흑발 여성의 사진을 내밀며 물었다. 얼핏 보면 실제 인물 사진을 포토샵 등 편집 프로그램으로 손본 것처럼 보였다. AI가 만들어낸 이미지라고 단정하기는 쉽지 않았다.

임정호 국립과학수사연구원 연구사가 7일 원주 본원에서 AI 딥페이크 분석모델을 시연하고 있다. /윤희훈 기자

임 연구사가 해당 사진 파일을 국과수가 자체 개발한 ‘AI 딥페이크 분석 모델’에 업로드했다. 약 3초 뒤 분석 결과가 화면에 나타났다. AI가 생성한 이미지라는 판정이었다. 딥페이크(deepfake)는 딥 러닝(deep learning)과 가짜(fake)의 혼성어로 인공 지능을 기반으로 사람 얼굴을 합성한 사진과 영상 등을 말한다.

“Fake(가짜).
”

임 연구사는 “사진뿐 아니라 동영상과 음성 파일까지 AI가 만들어낸 딥페이크의 진위를 빠르게 확인할 수 있다”며 “정확도는 98% 수준”이라고 말했다.

국과수의 ‘AI 딥페이크 분석 모델’은 AI가 생성한 영상과 이미지 100만개 이상을 분석해 특징을 학습했다. 이를 통해 AI가 만든 이미지의 픽셀 단위 특성을 파악할 수 있게 됐다는 설명이다.

임성호 연구사는 지난 8일 AI 딥페이크 분석 모델을 개발한 공로를 인정받아 ‘제11회 대한민국 공무원상’에서 국무총리 표창을 받았다.

임 연구사는 “딥러닝을 통해 이미지 속 얼굴을 분석하면서 사람이 인지하기 어려운 수준의 미세한 특징을 찾아낸다”면서도 “다만 구체적으로 어떤 알고리즘으로 AI 제작 여부를 판정하는지에 대해서는 논리적으로 설명하기 어렵다”고 했다. 이어 “현재는 얼굴 중심으로 분석하지만, 앞으로는 배경이나 주변 사물까지 학습해 분석 능력을 더 고도화할 계획”이라고 덧붙였다.

AI 영상 생성 기술은 일반인이 육안으로 진위를 가리기 어려울 정도로 빠르게 발전하고 있다. 임 연구사는 “앞으로는 눈으로는 거의 구별이 불가능한 수준까지 갈 것”이라며 “사기 범죄나 허위 정보 유포로 악용될 가능성이 큰 만큼, 이를 가려낼 수 있는 분석 도구의 중요성도 커지고 있다”고 말했다. 그는 “AI 기술이 발전하면 분석 모델도 그에 맞춰 지속적으로 학습하고 업그레이드해야 한다”고 했다.

이 분석 모델은 지난해 대통령 선거 과정에서도 활용됐다. 유튜브 등 온라인 플랫폼을 통해 후보자를 비방하는 허위 영상물이 확산됐기 때문이다. 실제로 하지 않은 발언을 후보자의 음성으로 말하는 영상도 포함돼 있었다.

임 연구사는 “수사기관 의뢰로 딥페이크 선거 영상 감정 13건을 수행했다”면서 “중앙선거관리위원회와 분석 모델을 공유해 온라인에 유포된 불법 딥페이크 선거물 1만여 건을 탐지·삭제하는 데 기여했다”고 말했다. 수사기관은 올해 지방선거에서도 이 분석 모델이 중요한 역할을 할 것으로 보고 있다.

지난해 7월 30일 행정안전부 관계자가 국립과학수사연구원이 개발한 ‘AI 딥페이크 분석모델’을 소개하고 있다. /행정안전부 제공

최근 들어선 분석 모델의 음성 녹음 재편집 여부 판단 기능도 주목받고 있다고 한다. 임 연구사는 “최근 들어서 ‘리플레이 어택’ 공격이 많아졌다”면서 예시를 보여줬다. 리플레이 어택이란 휴대폰으로 미리 짜인 시나리오대로 녹음을 한 다음 그것을 순차적으로 재생해 마이크로 재녹음하는 수법을 말한다.

임 연구사는 “목소리도 프레임별로 시간 흐름에 따라 음성 파형이 변화하는데, 리플레이 어택을 한 녹음 파일은 파형이 일정하지 않다”면서 “수많은 음성 파일을 학습하며 AI가 생성한 음성 파일이나, 사람이 재편집한 음성 녹음의 불규칙한 파형을 파악한 것”이라고 했다.

‘딥페이크 분석 모델을 민간에 공개할 순 없을까? 집단지성이 분석 툴을 활용함으로써 빅데이터를 학습하고, 기유포된 딥페이크 영상의 확산을 막을 수 있지 않을까?’라고 물었다.

임 연구사는 “실제로 분석 모델을 개방해달라는 요청이 많았다”라면서 “개방할 경우 우려되는 부분이 많다”고 말했다. 그는 “분석 모델을 개방하는 순간, 이를 악용하려는 사람들은 AI 검증 도구로 쓰려고 할 것”이라면서 “분석 모델의 판정 알고리즘을 파악하고, 분석 모델이 거르지 못하는 방식으로 딥페이크 영상을 제작할 수 있다”고 했다.

윤희훈 기자(yhh22@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>