서비스형 프롬프트 엔지니어링까지 등장… AI 기반 사이버 공격의 현주소 : zum 뉴스

위협 인텔리전스 플랫폼 업체 플래시포인트(Flashpoint)는 사이버 범죄자가 지하 포럼 게시물과 침해 유출 데이터를 활용해 특정 사기 수법에 맞춘 악성 LLM을 정교하게 다듬고 있다고 경고했다.

보다 구체적으로 사이버 범죄자는 웜GPT(WormGPT), 프로드GPT(FraudGPT) 등 불법 LLM에 유출된 인증 정보, 사기 스크립트, 인포스틸러 로그 같은 악성 데이터셋을 학습시켜 모델을 미세 조정하고 있다. 이 과정에서 생성된 결과물에 대한 사용자 피드백을 수집해 응답을 지속적으로 개선하며, 그 결과 공격 역량이 시간이 지날수록 정교해지는 순환 구조가 형성되고 있다.

플래시포인트의 사이버 위협 인텔리전스 부문 부사장 이안 그레이는 필자와의 인터뷰에서 “이 같은 흐름이 특히 우려되는 이유는 공격자가 모델 튜닝의 고리를 스스로 완성하고 있다는 점을 보여주기 때문이다. 실시간 피드백과 불법 데이터를 통해 공격 역량이 지속적으로 고도화되고 있다”라고 전했다.

플래시포인트는 일부 비공개 채팅 그룹에서 사용자가 실패한 프롬프트 사례를 LLM 개발자에게 제출하면 수일 내에 모델 성능이 빠르게 개선되는 사례를 포착했다고 밝혔다. 실제로 한 사용자가 금융사기용 프롬프트의 형식 오류를 보고하자, 곧바로 개발자가 템플릿을 정교하게 다듬은 업데이트 버전을 공유한 사례도 있었다고 분석했다.

그레이는 “침해된 데이터와 범죄자 간 협업을 기반으로 스스로 진화하는 악성 AI의 적응력은, 강력하고 대응하기 어려운 위협이다”라고 말했다.

사이버 범죄자는 AI 모델을 특정 사기 수법에 맞게 맞춤화하고 있으며, 업종별 또는 언어별로 최적화된 피싱 이메일 생성은 물론, 가짜 구인 공고, 위조 인보이스, 사용자 인증 프롬프트 작성 등에도 활용하고 있다.

플래시포인트 연구팀은 “일부 범죄 집단은 요금제, API 접근 권한, 프라이빗 키 라이선스를 포함한 형태로 해당 도구를 판매하고 있다. 이는 합법적인 SaaS 생태계와 매우 유사한 구조”라고 설명했다.

그레이는 “이 같은 특화 전략은 공격의 성공률을 높이고 복잡한 단계도 자동화할 수 있는 가능성을 키운다”라고 부연했다.

딥페이크 생성 서비스의 확산

사이버범죄 관련 업체는 딥페이크 생성 서비스(Deepfake as a Service, DaaS)를 통해 합성 영상 및 음성 제작의 진입 장벽을 낮추고 있다. 이들은 다음과 같은 기능을 포함한 서비스를 제공한다.

- 데이트 사기에 활용되는 맞춤형 얼굴 생성 기능
- 음성 인증을 노린 사기를 위한 오디오 스푸핑
- 사용자가 제출한 스크립트를 기반으로 입 모양까지 동기화되는 주문형 아바타 영상 생성

최근 이런 서비스는 사전 구성된 신상정보, 일치하는 위조 문서, 통화 일정 자동 설정 등 부가 기능과 함께 제공되는 사례가 늘고 있다.

서비스형 프롬프트 엔지니어링

지하 커뮤니티를 중심으로 AI 검열을 우회하는 ‘탈옥 프롬프트(jailbreak prompt)’ 작성 기술이 하나의 전문 영역으로 자리 잡고 있다.

이른바 ‘바이패스 빌더(Bypass Builder)’로 불리는 이들은 챗GPT, 제미나이 등 주요 LLM의 안전장치를 무력화하고 소셜 엔지니어링 스크립트, 해킹 튜토리얼, 은행 사기 매뉴얼, KYC(Know Your Customer) 우회 지침 등 일반적으로 차단되는 민감한 출력을 강제로 생성하도록 만드는 데 능숙하다.

그레이는 “이른바 ‘서비스형 프롬프트 엔지니어링(Prompt Engineering as a Service, PEaaS)’은 진입 장벽을 낮춰 사전 구성된 악성 프롬프트를 통해 더 많은 위협 행위자가 고도화된 AI 기능을 활용할 수 있게 만든다”라고 경고했다.

그레이는 “이런 흐름이 맞물리면서 적응형 위협이 형성되고 있다. 불법 데이터로 정교화된 맞춤형 모델은 더욱 강력해지고, PEaaS는 위협 행위자의 접근 범위를 넓히며, 지속적인 모델 개선은 방어 체계를 끊임없이 무력화할 수 있는 진화를 이끈다”라고 설명했다.

플래시포인트 연구팀은 다크웹 마켓플레이스, 텔레그램 그룹, 지하 LLM 커뮤니티 등 10만 개가 넘는 불법 소스를 실시간으로 모니터링하며, 이 같은 흐름을 추적했다.

2025년 1월 1일부터 5월 30일까지, 연구팀은 250만 건이 넘는 AI 관련 게시물을 기록했다. 여기에는 탈옥 프롬프트, 딥페이크 서비스 광고, 피싱 툴킷, 사기 등 사이버 범죄용 맞춤형 언어 모델 등 다양한 악의적 수법이 포함돼 있었다.

지하 LLM 전술과 전략

시스코 탈로스(Cisco Talos)의 관련 연구에 따르면, 사이버 범죄자는 LLM을 적극 활용해 범행 과정을 자동화하고, 사용자 침해에 활용 가능한 도구와 스크립트를 작성하며, 보안 시스템을 우회하기 쉬운 콘텐츠를 생성하고 있다.

탈로스는 사이버 범죄자가 검열되지 않은 LLM이나 범죄 목적에 맞춰 별도로 제작한 맞춤형 LLM을 사용하는 사례도 포착했다. 악성 LLM의 홍보 문구를 보면, 사이버 범죄자는 이 모델을 외부 도구와 연동해 웹사이트 취약점을 탐지하거나 도난된 신용카드 번호를 검증하는 등 다양한 범죄 행위에 활용하고 있는 것으로 보인다.

탈로스는 LLM 개발자가 보안 기능을 강화하기도 전에 사이버 범죄자가 해당 모델을 탈옥하는 경우가 많다고 경고했다.

AI 기반 사이버 위협에 맞서는 방어 전략

플래시포인트의 ‘AI와 위협 인텔리전스: 보안 담당자를 위한 가이드(AI and Threat Intelligence: The Defenders’ Guide)’에 따르면, AI는 사이버보안에서 양날의 검이지만 이를 위협 인텔리전스 및 대응 절차에 전략적으로 통합한 보안 조직은 공격자보다 한발 앞설 수 있다.

또한 기업은 자동화와 전문가의 분석 간 균형을 유지하고 과장된 기대와 현실을 구분하며, 빠르게 변화하는 위협 환경에 지속적으로 대응할 수 있는 유연성을 갖춰야 한다.

플래시포인트의 그레이는 “AI를 인간 전문성을 대체하는 것이 아니라 보완하는 수단으로 인식하는 것부터 시작해야 한다. 이런 접근을 통해 AI가 기존 보안 프로세스를 강화하고 불필요한 신호를 줄이고 의사결정을 빠르게 만드는 방식으로 가치를 더하도록 유도하며, 새로운 보안 사각지대를 초래하지 않도록 한다”라고 설명했다.

이어 “AI를 활용해 신뢰도 높은 데이터에서 인사이트를 도출하고, 위협을 더 빠르게 식별하며, 비정형 데이터를 구조화함으로써 정보 수집 역량을 강화하는 것이 핵심 원칙으로 삼아야 한다. 궁극적으로는 분석가가 더 나은 판단을 내릴 수 있도록 돕는 도구를 제공해 효율성을 높이고, 인간의 통제력을 유지하며, 맥락을 이해할 수 있는 기반을 마련하는 것이 목표”라고 덧붙였다.

dl-itworldkorea@foundryco.com