생성형 AI 영역에서 최근 가장 주목을 받는 것은 독립 실행형 에이전트다. API를 사용하거나 표준 앱에 내장해 모든 종류의 비즈니스 프로세스를 자동화할 수 있기 때문에 많은 기업이 앞다퉈 도입하고 있다. IDC 보고서에 따르면, 3년 안에 글로벌 2000대 기업 중 40%가 지식 업무를 자동화하기 위해 AI 에이전트와 워크플로우를 사용할 것이며, 성공적으로 구현될 경우 생산성이 두 배로 증가할 것으로 기대된다.
가트너도 낙관적 전망을 내놓았다. 가트너는 2028년까지 모든 IT 운영 도구 중 60%가 AI 에이전트를 구현할 것으로 예상했는데, 이는 2024년 말의 5% 미만에서 급격히 증가한 수치다. 또한 가트너는 향후 5년 동안 에이전틱 AI의 총매출이 6,090억 달러에 이를 것으로 예상하고 있다.
에이전틱 AI가 이렇게 빠르게 인기를 얻고 있는 이유는 자율적으로 의사 결정을 내리고 행동을 취하고, 특정 비즈니스 목표를 달성하는 데 적응할 수 있기 때문이다. 오픈AI의 오퍼레이터, 딥시크, 알리바바의 콰이웬과 같은 AI 에이전트는 인간의 개입을 최소화하면서 업무 흐름을 최적화하는 것을 목표로 한다.
본질적으로, AI 에이전트 또는 봇은 디지털 직원 형태의 존재가 되고 있다. 그리고, 인간 직원과 마찬가지로, AI 에이전트도 게임에 이용되거나 사기를 당할 수 있다.
예를 들어, 고객 서비스에서 AI 기반 봇이 소셜 엔지니어링 공격에 속아 자금을 이체하거나 민감한 데이터를 공유하는 사례가 보고된 바 있다. 마찬가지로, 금융 거래나 투자를 처리하는 AI 에이전트도 적절하게 보호하지 않으면 해킹에 취약할 수 있다. 지난 해 11월에는 한 암호화폐 사용자가 Freysa라는 이름의 AI 에이전트를 속여 자신의 계좌로 5만 달러를 송금하도록 했다. 자율 AI 에이전트는 암호화폐 상금 풀을 관리하도록 설계된 베이스(Base) 블록체인에 통합된 것이었다.
현재까지 자율 AI 에이전트의 대규모 악용 사례는 제한적이지만, 초기 단계일 뿐이다. 포레스터 리서치의 대표 애널리스트 레슬리 조셉에 따르면, 실험적인 사례는 프롬프트 인젝션 공격, 허위 정보, 자동화된 사기 등을 통해 오용될 가능성이 있다.
가트너 리서치의 부사장 아비바 리탄은 AI 에이전트의 사고가 “아직 기업에 비교적 새로운 문제”라며, “그러나 연구자와 업체가 발견한 잠재적 사고 사례가 많다는 소식은 들었다”라고 말했다.
그리고 AI 에이전트는 사이버 범죄에 이용될 수 있다.
 |
Gartner Research |
IDAM 전문업체 텔레포트의 CEO 에브 콘체보이는 “AI 에이전트를 조작해 데이터 유출을 일으키는 것이 얼마나 쉬운지 사람들이 알게 되면 AI 에이전트에 대한 인식이 크게 달라질 것”이라며, ”AI 에이전트는 독특하며, 잠재적으로 위험한데, 악성코드와 소셜 엔지니어링 공격 모두에 취약한 첫 번째 소프트웨어이기 때문이다. 이는 일반적인 소프트웨어만큼 결정론적이지 않기 때문이다”라고 설명했다.
LLM이나 텍스트, 이미지, 음악 등의 콘텐츠 제작에 주로 초점을 맞추는 생성형 AI 도구와는 달리, 에이전트 AI는 인간과 마찬가지로 능동적인 문제 해결과 복잡한 작업 수행을 위해 만들어졌다. 여기서 핵심은 “에이전시(agency)”이다. 즉, 스스로 행동할 수 있는 소프트웨어이다.
인간과 마찬가지로 AI 에이전트는 예측할 수 없으며 창의적인 프롬프트에 의해 쉽게 조작될 수 있다. 그 때문에 데이터 자원에 제한없이 접근할 수 있도록 하는 것은 너무 위험하다. 권한이 정의된 인간 역할과 달리, 소프트웨어에는 이와 유사한 제약이 적용되지 않았다. 그러나 예측할 수 없는 행동을 할 수 있는 AI를 사용함에 따라 IT 부서에서는 제한을 두어야 한다는 것을 깨닫고 있다. AI 에이전트에게 과도한 권한을 부여하는 것은 위험하다. 고객 데이터 도용과 같은 위험한 행동에 속아 넘어갈 수 있기 때문이다.
콘체보이는 기업이 AI 에이전트의 행동을 적극적으로 관리하고 보호 조치를 지속적으로 업데이트해야 한다고 강조했다. 이 기술의 완성도를 과대평가하면, 기업의 운영 및 평판이 심각한 위험에 노출될 수 있다.
조셉 역시 AI 에이전트를 사용하는 기업은 투명성을 우선시하고, 액세스 제어를 강화하고, 에이전트 행동을 감사해 이상을 감지해야 한다고 지적했다. 또, 안전한 데이터 프랙티스, 강력한 거버넌스, 빈번한 재교육, 적극적인 위협 감지가 자율 AI 에이전트의 위험을 줄일 수 있다고 덧붙였다.
사용례와 함께 증가하는 취약점
캡제미니에 따르면, 기업의 82%가 향후 3년 동안 이메일 생성, 코딩, 데이터 분석과 같은 작업을 위해 AI 에이전트를 도입할 계획이다. 마찬가지로, 딜로이트는 올해 AI 에이전트를 사용하는 기업이 향후 2년 동안 관련 기술 사용을 50% 늘릴 것으로 예측한다.
펜실베이니아 대학 공학 및 컴퓨터 과학 교수인 벤자민 리는 에이전틱 AI를 잠재적인 “패러다임 전환”이라고 불렀다. 그 이유는 에이전트를 통해 인간이 개별 작업이 아닌 큰 규모의 작업을 에이전트에게 위임할 수 있기 때문이다. 그러나 자율성을 가진다는 장점 때문에, AI 에이전트가 의도하지 않은 행동, 데이터 유출, 적대적인 프롬프트를 통한 악용과 관련된 취약성도 커진다. 공격 표면이 제한적인 전통적인 AI/ML 모델과 달리, 에이전트는 동적으로 작동하기 때문에 감독하기가 더 어렵다.
포레스터의 조셉은 “정적 AI 시스템과는 달리, AI 에이전트는 잘못된 정보를 독립적으로 전파하거나 사소한 오류를 더 광범위한 시스템적 실패로 빠르게 확대시킬 수 있다”라며, ”AI 에이전트의 상호 연결성과 동적 상호 작용은 단일 취약성 또는 실수가 여러 시스템에 걸쳐 도미노 효과를 유발하는 연쇄적 실패의 위험을 크게 증가시킨다”라고 강조했다.
AI 에이전트가 표적이 될 수 있는 몇 가지 상황은 다음과 같다.
- - 데이터 오염(Data Poisoning). 훈련 과정에서 거짓 또는 허위 데이터를 입력해 AI 모델을 조작할 수 있다. 데이터 오염은 에이전트의 의사 결정 과정에 영향을 미칠 수 있으며, 잠재적으로 악의적이거나 잘못된 행동을 유발할 수 있다.
- - 적대적 공격. AI 에이전트를 속이거나 혼란스럽게 하도록 정교하게 조작된 입력 정보를 제공하는 것을 포함한다. 경우에 따라 적대적 공격으로 인해 AI 모델이 데이터를 잘못 해석해 유해한 결정을 내릴 수 있다.
- - 소셜 엔지니어링. 사기꾼은 인간과 AI 에이전트의 상호 작용을 이용해 사용자를 속여 개인 정보나 돈을 빼내기도 한다. 예를 들어, AI 에이전트가 고객과 상호 작용할 때, 사기꾼은 이를 조작해 사용자를 속일 수 있다.
- - 보안 취약점. AI 에이전트가 더 큰 시스템이나 인터넷에 연결된 경우, 보안 결함을 통해 해킹당할 수 있으며, 이로 인해 악의적인 행위자가 에이전트를 통제할 수도 있다. 금융 서비스, 자율주행 차량, 개인 비서와 같은 분야에서 특히 우려할 만한 문제이다.
반대로, 에이전트가 잘 설계되고 관리된다면, AI 자율성을 활용해 적응형 보안을 가능하게 하고, 위협을 식별하고 대응할 수 있다. 가트너의 리탄은 “가디언 에이전트”라고 불리는 새로운 솔루션을 언급했다. 이 솔루션은 여러 영역에 걸쳐 에이전트를 감독할 수 있는 자율 시스템이다. 가디언 에이전트는 에이전트의 행동을 모니터링, 분석, 관리함으로써 안전하고 신뢰할 수 있는 AI를 보장하는데, 에이전트의 행동을 차단하거나 미리 정의된 목표를 달성하도록 방향을 전환하는 것도 포함된다.
가디언 에이전트가 에이전틱 AI를 통제하는 방안으로 부상하고 있지만, AI 에이전트는 여전히 위험을 줄이기 위해 강력한 감독, 보호 장치, 지속적인 모니터링이 필요하다. 조셉은 “우리는 여전히 에이전틱 AI의 서부 개척 시대에 살고 있다는 사실을 기억하는 것이 매우 중요하다. 에이전트는 아직 완전히 완성된 상태가 아니며, 기업이 안전하게 수동적 접근 방식을 채택하기 전에 상당한 성숙이 필요하다”고 덧붙였다.
dl-itworldkorea@foundryco.com
Lucas Mearian editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지
