앤트로픽 API 비용이 오픈AI보다 저렴하면서도 실제로는 더 비싼 이유

[박찬 기자]

앤트로픽의 '클로드'가 오픈AI 모델보다 API 비용이 저렴한 것으로 보이지만, 구조적인 문제로 인해 실제로는 더 비싸다는 지적이 나왔다.

벤처비트는 1일(현지시간) 공개된 API 가격이 저렴한 앤트로픽의 모델이 실제로는 오픈AI보다 20~30% 더 비쌀 수 있다고 보도했다.

공개된 API 가격표에 따르면, 앤트로픽의 '클로드 3.5 소네트'와 오픈AI의 'GPT-4o'는 가격이 비슷한 것으로 보인다. 출력 토큰에 대한 비용은 같으며, 입력 토큰은 클로드 3.5 소네트가 40% 더 저렴하다.

그러나 프롬프트를 실제 입력한 실험 결과, GPT-4o가 전체 비용 면에서 클로드 3.5 소네트보다 훨씬 더 저렴한 것으로 나타났다.

이는 두 모델의 토큰화 방식 차이에 따른 것이다. 앤트로픽의 토크나이저(tokenizser)는 같은 입력에 대해 오픈AI의 토크나이저보다 더 많은 토큰으로 분할하는 경향이 있다. 즉, 같은 프롬프트라고 해도 클로드는 더 많은 토큰을 생성하게 돼, 입력 토큰 비용이 더 낮아도 전체 비용은 더 커질 수 있다는 것이다.

또 커뮤니티의 실험에 따르면, 구글의 '제미나이'는 오픈AI보다는 조금 더 많은 토큰을 생성하지만, 클로드에는 못 미치는 것으로 나타났다.

더 많은 토큰을 만드는 오버헤드 문제는 콘텐츠 유형에 따라 달라진다. 영어로 된 문장에서는 클로드 3.5 소네트의 토크나이저가 GPT-4o보다 16% 더 많은 토큰을 생성한다. 더 구조적이거나 기술적인 콘텐츠에서는 더 증가한다. 수학 방정식에서는 오버헤드가 21%, 파이썬 코드에서는 30%에 달한다.

이런 차이는 앤트로픽의 토크나이저가 코드와 수학적 문서에서 자주 등장하는 패턴과 기호를 더 작은 토큰으로 분할하기 때문에 발생한다. 반면, 자연어 콘텐츠는 토큰화 오버헤드가 적다.

이런 문제는 비용뿐만이 아니라, 컨텍스트 창 활용에도 영향을 미친다. 앤트로픽의 모델은 20만개의 토큰을 처리할 수 있는 큰 컨텍스트 창을 제공하지만, 추가 토큰으로 인해 실제 사용할 수 있는 공간은 줄어들 수 있다. 즉, 공개된 컨텍스트 창 크기와 실제 사용할 수 있는 컨텍스트 창 크기 사이에 차이가 있을 수 있다는 분석이다.

토큰화의 숨겨진 비용은 당연히 개발자와 기업에 영향을 미칠 수 있다. 실제 사용에서는 오픈AI 모델이 더 경제적일 수 있기 때문이다.

또 단순한 토큰당 비용만을 고려할 것이 아니라, 토큰화 방식이 전체 성능과 비용 효율성에 미치는 영향을 함께 고려해야 한다는 것을 의미한다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>