MS, AI 에이전트 테스트 시뮬레이션 환경 공개..."대부분 조작에 취약"

[박찬 기자]

연구자들이 인공지능(AI) 에이전트 간 상호 작용을 실험하고 미래 디지털 시장의 모습을 엿볼 수 있는 새로운 연구 플랫폼이 등장했다. 가상 온라인 마켓 테스트를 통해 에이전트가 실제 거래에 적합한지를 판단한다는 의도인데, 대부분 모델들은 문제가 있다는 판정을 받았다.

마이크로소프트(MS)가 5일(현지시간) AI 에이전트의 행동과 상호작용을 검증하기 위한 새로운 시뮬레이션 환경 '마젠틱 마켓플레이스(Magentic Marketplace)'를 공개했다.

애리조나주립대와 공동으로 진행된 이번 연구는 현재의 AI 에이전트 모델이 외부 조작이나 복잡한 상황에 취약할 수 있음을 보여줬다.

마젠틱 마켓플레이스는 에이전트를 고객과 기업 역할로 나눠, 가상의 시장 환경에서 거래·협상·결제까지 전 과정을 수행하도록 설계된 오픈 소스 시뮬레이션 시스템이다.

예를 들어, 한 실험에서는 사용자의 저녁 식사 주문을 대신 처리하는 '고객 에이전트'가 여러 식당 에이전트와 상호작용하며 주문을 결정하도록 설계됐다.

이 플랫폼의 핵심은 시장 전반의 기능을 관리하는 중앙 마켓 환경(Market Environment)이다. 여기에는 상품 및 서비스 카탈로그 관리, 에이전트 검색 알고리즘, 에이전트 간 통신, 그리고 모든 거래의 무결성을 보장하는 중앙 거래 계층(transaction layer)이 포함된다.

또 시각화 모듈을 통해 고객과 기업 에이전트 간 대화 흐름과 시장 내 동향을 실시간으로 관찰할 수 있다.

마젠틱 마켓플레이스는 세가지 핵심 구조를 기반으로 설계됐다.

먼저 HTTP/REST 클라이언트-서버 아키텍처를 적용해 에이전트가 독립적인 클라이언트로 작동하고, 마켓 환경이 중앙 서버 역할을 수행하도록 했다. 이를 통해 실제 온라인 플랫폼의 구조와 비슷한 환경을 구현, 에이전트 간의 역할을 분리하고 시스템의 확장성을 높였다.

여기에 등록·프로토콜 검색·실행 등 세가지 최소화된 엔드포인트 구조를 도입했다. 이 단순화된 설계는 새로운 기능을 추가하더라도 기존 실험에 영향을 주지 않도록 해, 연구자들이 안정적인 환경에서 반복 실험을 수행할 수 있게 한다.

마지막으로 확장 가능한 액션 프로토콜을 구축해 에이전트가 거래 과정 전반을 수행할 수 있도록 했다. 이 프로토콜은 검색, 협상, 제안, 결제 등의 메시지 유형을 지원하며, 환불이나 리뷰, 평점과 같은 새로운 기능도 손쉽게 추가할 수 있도록 설계됐다.

플랫폼은 완전 합성 데이터를 활용해 실험을 재현 가능하게 설계했으며, 음식 주문이나 주택 개선 서비스 거래 등 실제 시장 시나리오를 시뮬레이션했다. 각 실험에는 100명의 고객(customer)과 300개의 기업(business) 에이전트가 참여했으며, 'GPT-4o' 'GPT-4.1' 'GPT-5' '제미나이 2.5 플래시' 같은 상용 모델과 '큐원3-14B' 등 오픈 소스 모델이 동시에 사용됐다.

실험 결과, 현재의 AI 에이전트는 외부의 '영업 전략'에 쉽게 영향받거나 선택이 많을수록 판단력이 급격히 떨어지는 현상이 발견됐다.

특히, 일부 식당 에이전트가 고객 에이전트를 설득해 비효율적인 선택을 하도록 유도하는 조작적 행위가 관찰되기도 했다. 또 고객 에이전트에게 선택지가 많아질수록 '주의 분산(attention overload)'으로 의사결정 효율이 크게 떨어졌다.

연구진은 "AI가 다양한 옵션을 분석하고 최적의 결정을 내리길 기대하지만, 현재의 모델은 선택이 많을수록 오히려 혼란스러워다"라고 지적했다.

에이전트들이 공동 목표를 달성하도록 설정된 실험에서는 어떤 에이전트가 어떤 역할을 맡아야 할지 결정하지 못하는 문제도 드러났다. 연구진이 단계별로 명시적인 지시를 제공했을 때는 성능이 개선됐지만, "현재 모델에는 기본적으로는 자율 협업 능력이 내재해 있지 않다"라는 한계를 확인했다.

이번 연구는 AI 기업들이 내세우는 '에이전트 시대'가 실제 구현되기에는 아직 부족하다는 것을 시사한다.

MS는 마젠틱 마켓플레이스를 통해 "AI 에이전트의 행동 원리를 실험하고, 잠재적 위험을 조기에 발견할 수 있는 공공 연구 플랫폼으로 발전시킬 계획"이라고 밝혔다.

이 플랫폼의 소스코드는 깃허브에 오픈 소스로 공개, 외부 연구진도 이를 활용해 재현 실험이나 확장 연구를 수행할 수 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>