티벨, LLM 평가·검증 자동화 시스템 'T-LENS' 공식 런칭

소프트웨어 테스트 전문기업 티벨은 LLM 기반 서비스 품질을 자동으로 평가·검증하는 LLM 평가 및 스코어링 시스템 'T-LENS(TBELL LLM Evaluation and Scoring System)'를 공식 런칭했다고 밝혔다.

T-LENS는 최근 빠르게 확산되고 있는 AI 챗봇·생성형 AI 서비스의 품질 이슈를 해결하기 위해 개발된 솔루션으로, LLM 기반 서비스 응답에 대해 자동화된 정량·정성 평가를 수행하고 평가 결과를 통합 관리할 수 있는 것이 특징이다.

T-LENS는 LLM-as-a-Judge 방식을 적용해 평가자의 주관적 편차를 최소화하고, 일관성과 신뢰성을 확보한 자동 평가 환경을 제공한다. 챗봇 검증을 위한 질문·응답 데이터셋을 기반으로 평가 프롬프트를 생성하고, 다양한 LLM Judge 모델을 활용해 응답 품질을 점수와 사유(Reason) 형태로 산출한다.

이를 통해 기업은 서비스 시나리오 전반에 대한 End-to-End 품질 검증은 물론, 버전 변경 전후 비교 분석과 신규 모델 적용 시 품질 안정성 검증까지 체계적으로 수행할 수 있다.

T-LENS는 AWS 기반 아키텍처로 설계돼 다양한 환경에서의 테스트 수행이 가능하다. AWS Device Farm을 활용해 모바일(Android/iOS) 및 웹 환경을 포함한 멀티 디바이스 테스트를 지원하며, 대시보드를 통해 평가 결과를 직관적으로 확인할 수 있다.

또한 평가 지표와 항목을 서비스 특성에 맞게 자유롭게 설정할 수 있어, 기업별·서비스별 맞춤형 LLM 품질 관리 체계 구축이 가능하다.

티벨은 T-LENS를 통해 반복적이고 복잡한 AI 품질 검증 업무를 자동화함으로써 QA 인력의 업무 효율을 높이고, 서비스 안정성과 신뢰성을 동시에 확보할 수 있을 것으로 기대하고 있다.

티벨 연구소장 이혜진 이사는 “T-LENS는 단순한 평가 도구가 아니라, AI 서비스의 품질을 객관적으로 관리하고 지속적으로 개선할 수 있는 기준을 제시하는 플랫폼”이라며 “이번 런칭을 통해 고객사가 AI 서비스 품질에 대한 불확실성을 줄이고, 보다 신뢰도 높은 서비스를 제공함으로써 고객의 가치 향상에 실질적으로 기여할 수 있을 것으로 기대한다”고 밝혔다.

티벨 관계자는 “T-LENS를 시작으로 AI 테스트 자동화, 테스트 케이스 자동 생성 등 다양한 AI 기반 품질 검증 솔루션을 지속적으로 확대해 나갈 것”이라고 밝혔다.

임민지 기자 minzi56@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]