AWS, '코딩 에이전트' 벤치마크 공개..."파이썬 넘어 다양한 언어 능력 평가"

[박찬 기자]

코딩용 인공지능(AI) 에이전트의 실제 업무 처리 능력을 평가하는 새로운 벤치마크가 등장했다. 기존 벤치마크의 한계를 넘기 위해 다양한 프로그래밍 언어 능력을 평가한다는 것이 차별점이다.

아마존웹서비스(AWS)는 23일(현지시간) 새로운 인공지능(AI) 코딩 어시스턴트 평가용 벤치마크인 'SWE-폴리벤치(SWE-PolyBench)'를 공개했다.

기존 코딩 에이전트 평가 기준이었던 'SWE-벤치(SWE-Bench)'를 넘어서기 위해 개발한 것이다.

SWE-벤치는 50개 이상의 리더보드 리스트를 보유하며 코딩 에이전트의 표준으로 자리 잡았지만, 파이썬 언어와 버그 수정이라는 단일 과제에 편중돼 있었다. 특히, 파이썬용 장고(Django) 저장소가 전체 과제의 45% 이상을 차지하는 불균형 문제가 있었다.

이에 AWS는 SWE-폴리벤치를 통해 자바스크립트(JavaScript)와 타입스크립트(TypeScript), 자바(Java) 등 프로그래밍 언어를 추가하고 과제 다양성을 확장했다.

AWS는 "SWE-벤치는 파이썬에 과도하게 의존하고 있었다"라며 "SWE-폴리벤치는 언어별로 균형 잡힌 과제 구성을 통해 현실적인 코딩 상황을 반영한다"라고 설명했다.

또 기존의 '패스율(pass rate)' 중심 평가 방식에 한계를 지적하고, 이를 보완하기 위한 정밀한 평가 지표를 새롭게 도입했다. 기존 패스율은 생성된 패치가 문제를 해결하는지만을 단순 비율로 측정했지만, 구체적인 수정 경로나 세부적인 과정은 알려주지 않았다.

이에 SWE-폴리벤치는 파일 수준 로컬라이제이션(file-level localization), 콘크리트 구문 트리(Concrete Syntax Tree) 노드 수준 검색(node-level retrieval) 등 세밀한 평가 항목을 추가했다.

이를 통해 에이전트가 어떤 파일을 수정해야 하는지, 코드의 어떤 구조를 정확히 변경했는지를 정밀하게 분석할 수 있다. 새로운 지표는 정밀도(precision)와 재현율(recall)도 함께 측정해, 에이전트의 세밀한 문제 해결 능력을 명확하게 파악할 수 있도록 한다.

AWS는 공개된 SWE-폴리벤치를 통해 여러 오픈 소스 코딩 에이전트를 시험했다.

그 결과, 파이썬은 여전히 모든 에이전트에서 가장 강력한 성능을 보였다. 이는 코딩 에이전트 학습 데이터와 기존 벤치마크가 파이썬 위주로 이뤄졌기 때문이다.

하지만, 과제 난이도가 높아질수록 에이전트의 성능 저하가 두드러졌다.

버그 수정 과제에서는 에이전트 간 성능 차가 적었지만, 기능 추가나 코드 리팩토링(refactoring) 과제에서는 차이가 크게 나타났다. 문제 설명이 명확할수록 성공률이 높아진다는 점도 주요 발견 중 하나다.

아눕 데오라스 AWS 과학 이사는 벤처비트와의 인터뷰에서 "시간이 지남에 따라 LLM의 기능이 발전했을 뿐만 아니라, 작업도 점점 더 복잡해졌다"라며 "향후 이번 벤치마크를 더 많은 작업으로 확장, 더욱 포괄적인 성능 측정 도구로 진화할 것"이라고 밝혔다.

AWS는 SWE폴리벤치의 전체 데이터셋을 허깅페이스에 공개했으며, 평가를 위한 소프트웨어는 깃허브를 통해 이용할 수 있다. 또 다양한 코딩 에이전트들의 성능을 비교할 수 있도록 별도의 리더보드도 운영할 예정이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>