[AI 가드] "빅테크 서비스도 별거 없네"…공격자는 'AI 도장깨기' 중

국내외 보안 시장에서 주목한 인공지능(AI) 소식을 전합니다. AI 기술을 악용한 최신 위협부터, AI 기술을 활용한 보안 전략까지 우리가 주목해야 할 쟁점을 소개합니다. AI 보안 시대를 준비하고 있다면, 디지털데일리 'AI 가드'를 살펴보세요. <편집자주>

[디지털데일리 김보민기자] 인공지능(AI) 발전을 주도하는 주역이 누구냐고 묻는다면 빅테크 기업을 빼놓을 수 없다. 구글·마이크로소프트(MS)를 비롯해 '챗GPT 돌풍'을 일으킨 오픈AI까지, 이들 기업은 자체 대형언어모델(LLM)과 생성형 서비스를 강화하며 선두에서 활약하고 있다.

그러나 기업과 개인이 일상생활에서 매일 사용하는 AI로 주목을 받은 만큼, 사이버 공격자의 위협 수단으로도 악용되고 있다. 빅테크 기업이 적용한 보안 가드레일을 우회하지 않더라도, 일반 사용자처럼 서비스 자체를 활용해 공격 기법을 고도화하거나 AI 탈옥(제일브레이킹)을 시도한 사례도 증가하는 추세다.

이러한 흐름은 구글이 올해 초 발표한 '생성형 AI의 적대적 오용(Adversarial Misuse of Generative AI)' 보고서에서 드러났다. 보고서에 따르면, 북한·중국·이란 등 주요 국가 배후 공격조직은 AI 서비스 중에서도 특히 제미나이를 악용하고 있다.

북한의 경우 지능형지속공격(APT) 조직의 제미나이 악용이 거세진 것으로 나타났다. 이들은 한국의 군사 체계와 암호화폐 시장 등 북한 정부의 전략적 관심사를 연구하는 데 제미나이 서비스를 사용했다. 공격 대상을 정하거나 페이로드, 악성 스크립트 등을 개발하는 작업에도 AI를 사용했다. 일반 사용자처럼, 프롬프트 입력 만으로 AI 악용이 가능했다는 점을 엿볼 수 있는 사례다.

정보기술(IT) 위장 취업에도 제미나이를 사용했다. 구글은 "AI를 활용해 자기소개소 초안 등을 연구한 것으로 보인다"며 "북한이 서방 기업에 북한 IT 노동자를 비밀리에 배치하려 했다는 점을 알 수 있는 부분"이라고 설명했다. 북한 공격 조직은 코로나19를 계기로 원격근무가 늘어난 점을 이용해, 위장 취업을 시도한 뒤 내부 데이터 등을 정찰해온 것으로 알려졌다.

다른 국가 배후 조직의 AI 활용법도 북한과 유사한 양상을 보이고 있다. 중국의 경우 제미나이를 활용해 공격 대상자 정찰은 물론, 스크립팅 개발, 네트워크 접근법 연구를 시도했다. 데이터 유출과 탐지 회피와 같은 주제를 키워드 삼아 검색한 점도 포착됐다. 이란 배후 조직은 피싱 캠페인을 추진하기 위해 AI 서비스를 악용한 것으로 나타났다.

구글은 공격 조직이 AI 서비스를 악용하고 있는 것은 사실이지만, 일상적인 수준일 뿐이지 판도가 뒤집혔다고 평가하기에 이르다고 밝혔다. 구글은 "이번 연구 결과를 종합해 봤을 때, AI는 위협 행위자에게 유용한 도구가 될 수 있지만, 판도를 바꿀 도구는 아니다"라며 "문제 해결, 연구, 콘텐츠 생성과 같은 일반적인 작업을 수행하는 것을 볼 수 있지만 새로운 기능을 개발한 징후는 보이지 않다"고 강조했다.

다만 추후 AI 공격이 일상화될 수 있는 만큼, 전방위적인 대책이 필요하다는 의견도 나온다. 글로벌 위협인텔리전스 그룹 체크포인트리서치는 "AI 부상은 새롭고 중대한 위험을 초래하고 있다"며 "AI 기술로 멀웨어를 생성하거나 데이터를 채굴하고 허위 정보를 만드는 것은 기본, 공격을 최적화하고 운영을 확장하는 것도 쉬워지고 있다"고 진단했다.

이러한 가능성은 MS와 오픈AI를 노린 위협에서 확인할 수 있다. 블랙햇 콘퍼런스에서 지난해 발표된 연구에 따르면 MS 코파일럿은 공격자가 피싱 이메일을 자동 생성할 뿐만 아니라 보안 정책 우회, 개인 데이터 추출에 사용될 가능성이 있다. 특히 코파일럿은 아웃룩, 팀즈 등 업무도구에 연동해 쓸 수 있어, 취약점이 한번 노출된다면 위협이 커질 수 있다는 경고도 나온다.

오픈AI는 지난달 '악의적인 AI 사용 방해(Disrupting malicious uses of AI)' 보고서를 통해 이러한 가능성에 공감대를 표하기도 했다. 보고서는 '스니어 리뷰'(Sneer Review) 등 주요 글로벌 수사 작전 사례를 공유하며 "이제 우리의 임무는 AI가 인류 모두에게 이익이 되도록 하는 것"이라며 "우리는 사람들이 정말 어려운 문제를 해결할 수 있도록 돕는 AI 도구를 구축하기 위해 임무를 강화할 것"이라고 말했다.

한편 빅테크 LLM을 미세조정(파인튜닝)하거나 생성형 서비스를 연결해 AI 사업을 전개하는 기업이 늘어나면서 관련 피해는 더욱 늘어날 전망이다. 로템 핀켈슈타인 체크포인트리서치 이사는 "사이버 범죄자들의 AI 도입은 이미 위협 환경을 재편하고 있다"며 "먼 미래가 아닌 코앞에 와 있는 현실"이라고 경고했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -