질문 맞춰 최적 LLM 찾아주는 '라우팅' 챗봇 플랫폼 등장

[박찬 기자]

여러 인공지능(AI) 모델을 자동 조합해 최고의 답변을 제공하는 챗봇 라우팅 플랫폼이 등장했다. 사용자 쿼리에 맞춰 가장 적합한 대형언어모델(LLM) 조합을 자동으로 선택하고 응답을 생성한다.

AI 스타트업 하이퍼라이트는 30일(현지시간) 사용자 질문에 따라 가장 적합한 LLM을 자동 선택·조합해 응답을 생성하는 방식의 AI 챗봇 플랫폼 '토큰 몬스터(Token Monster)' 알파 프리뷰를 공개했다.

토큰 몬스터는 AI 글쓰기로 유명한 하이퍼라이트의 맷 슈머 CEO가 개발했다. 기존 챗봇처럼 단일 모델을 사용하는 것이 아니라, 다양한 LLM을 연동해 각 작업에 최적화된 모델을 골라 활용하는 점이 핵심이다.

여러 LLM을 조합해 활용하고 있으며, 주요 모델로는 앤트로픽의 '클로드 3.5 소네트'와 '클로드 3.5 오퍼스' 오픈AI의 'GPT-4.1'과 'GPT-4o' 추론에 특화된 오픈AI의 'o3' 리서치 기능에 최적화된 퍼플렉시티의 'PPLX' 구글의 '제미나이 2.5 프로' 등이 있다. 이들 모델은 각각의 강점을 바탕으로 토큰 몬스터 내에서 자동으로 선택·배분돼 사용자에게 최적화된 응답을 생성하는 데 사용된다.

사용자가 질문을 입력하면, 슈머 CEO가 직접 고안한 프롬프트 체계를 통해 플랫폼이 해당 질문의 특성을 분석하고, 가장 적합한 모델 조합과 도구를 자동으로 선택해 최적화된 응답을 생성한다. 예를 들어, 창의적 응답은 클로드, 논리적 추론은 o3, 리서치는 PPLX에 맡기는 식이다.

슈머 CEO는 벤처비트와의 인터뷰에서 "우리는 단지 모든 모델과 도구를 연결하는 '연결자(connector)' 역할을 하고, 어떤 상황에 어떤 것을 쓸지 결정하는 시스템을 만든 것"이라고 설명했다.

또 웹페이지 추출, 다양한 문서 형식(Excel, PPT, Docs) 업로드, 대화 세션 저장, 자동 모델 선택 '패스트(FAST) 모드' 등 다양한 기능을 탑재했다. 세션 저장은 오픈 소스 데이터베이스 수파베이스(Supabase)를 통해 처리되며, 사용자는 자신의 데이터를 완전히 제어할 수 있다.

요금제도 유연하게 설계됐다. 정액제가 아닌 사용한 만큼 토큰 요금을 지불하는 방식이다.

플랫폼의 핵심은 여러 LLM을 하나로 연결해 주는 제3자 서비스 '오픈라우터(OpenRouter)'다. 이를 통해 개별 모델별 통합 과정을 단순화하고, 다양한 AI 기능을 빠르게 활용할 수 있게 했다.

실제로 토큰 몬스터는 웹 검색 API로 리서치를 수행하고, o3를 활용해 정보 격차를 파악한 뒤, 제미나이로 개요를 작성하고, 클로드 오퍼스로 초안을 만든 후 클로드 소네트로 정제하는 다단계 워크플로우도 구현할 수 있다.

앞으로는 MCP(Model Context Protocol) 서버와의 연동도 고려 중이라고 밝혔다. 이를 통해 기업 내부 시스템이나 데이터에 AI가 직접 접근해 고객 지원 처리나 업무 자동화 등의 고차원적인 작업도 수행할 수 있을 것으로 기대된다.

슈머 CEO는 "아직 초기 단계지만 빠르게 기능을 확장하고 있다"며 "사용자 피드백을 받아 지속적으로 개선해 나갈 것"이라고 전했다.

한편, 쿼리에 맞춰 최적 모델을 라우팅하는 방식은 이미 2023년부터 등장했다. 일부 스타트업들이 기업 대상으로 서비스하던 것인데, 이번에는 누구나 사용할 수 있는 플랫폼 형태로 출시됐다는 것이 특징이다.

현재 토큰 몬스터는 홈페이지에서 무료로 알파 프리뷰를 사용해 볼 수 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>