눈덩이처럼 커지는 AI 추론 비용을 통제하는 실용적인 접근법

카날리스에 따르면, 2025년 전 세계 IaaS와 PaaS 지출 규모가 전년 대비 21% 증가한 909억 달러에 이르렀다. 이런 폭발적 성장은 기업이 워크로드를 클라우드로 옮기고 AI를 도입하면서 발생하고 있다. AI는 대규모 컴퓨팅 자원을 필요로 한다. 그러나 AI 기술을 도입하는 기업은 전략적 활용 과정에서 여러 장애물도 마주하고 있다.

AI를 연구 단계에서 대규모 배포 단계로 전환하는 과정에서 모델 훈련 비용과 추론 비용을 구분하는 것이 쉽지 않다. 카날리스의 수석 디렉터 레이첼 브린들리는 “훈련은 보통 한 번의 투자로 끝나지만, 추론은 시간이 지날수록 비용이 계속 변동된다”라고 지적했다. AI 프로젝트를 실제 운영 단계로 옮기는 기업 입장에서는 추론 서비스의 경제성이 점점 중요한 고민거리가 되고 있다. 추론 비용은 빠르게 누적돼 기업 재정에 압박을 가할 수 있기 때문이다.

현재 추론 서비스 가격 책정은 토큰이나 API 호출 등 사용량 기반으로 이루어지는데, 이 때문에 비용 예측이 어렵다. 예측 불가능한 비용 구조는 기업이 AI 모델의 복잡도를 낮추거나 중요한 상황에만 제한적으로 배포하거나, 추론 서비스를 아예 포기하도록 만들 수 있다. 이런 신중한 접근법은 AI 발전 속도를 저해할 수 있다.

예산 초과의 후폭풍

기업이 추론 비용을 우려하는 것은 충분한 이유가 있다. 필요량을 과대 추정해 거액의 청구서를 받은 사례가 적지 않다. 대표적인 사례가 베이스캠프 프로젝트 관리 도구를 운영하는 37시그널스다. 37시그널스는 클라우드 사용 요금이 300만 달러를 초과하는 것을 발견한 뒤, 클라우드 대신 자체 데이터센터에서 IT 인프라를 운영하기로 결정했다.

기업은 클라우드 서비스의 위험성을 그 어느 때보다 절실히 인식하고 있다. 가트너는 AI 도입 기업이 비용 추산에서 500%~1,000% 차이가 발생할 수 있다고 경고했다. 이는 서비스 업체의 가격 인상, 숨은 비용, AI 자원 관리 미숙 등이 원인이다. AI 기술을 적극 도입하려는 기업에게 예산 착오는 혁신과 발전을 가로막는 심각한 위험이다.

다양한 호스팅 선택지 검토

기업은 클라우드 접근 방식을 재검토하고 있다. AWS나 마이크로소프트 애저, 구글 클라우드 같은 퍼블릭 클라우드에 의존하는 기업이 많지만, 일부는 전문 호스팅 업체나 코로케이션 서비스로 눈을 돌리고 있다. 이런 대안은 자원 활용을 최적화할 수 있는 가격 체계를 제공해 예측 불가능한 비용 부담을 줄이면서 AI 애플리케이션 역량을 높일 수 있다.

현재 상위 클라우드 서비스 업체가 전체 고객 지출의 65% 이상을 차지하고 있다. 하지만 AWS 성장률은 이전 분기 19%에서 최근 분기 17%로 하락했다. 반면 마이크로소프트와 구글은 30% 이상의 성장세를 유지하고 있다. 기업은 전문 서비스 업체가 제공하는 비용 효율적이고 맞춤형 솔루션에 관심을 보이고 있다.

클라우드 서비스 업체도 추론 비용 문제를 인식하고 효율성을 높이며 서비스 요금을 낮추기 위한 방안을 적극 모색하고 있다. 카날리스는 AI 작업에 특화된 전문 기술이 GPU와 함께 맞춤형 하드웨어 가속기를 통합해 효율을 높이고 비용을 절감할 수 있다고 분석했다.

퍼블릭 클라우드에서 대규모 AI 배포를 시도하려는 노력이 이어지고 있지만, 장기적 지속 가능성에 대한 의문은 남아 있다. 카날리스의 수석 애널리스트 앨러스터 에드워즈는 “AI 프로젝트가 확대될수록 클라우드 기반 AI 도입 비용은 감당하기 어려운 수준으로 치솟을 수 있다”고 경고했다. 장기적인 AI 성공을 노리는 기업에 상당한 도전 과제가 되고 있다.

AI 추론 비용을 통제하는 실용적인 접근법

기업이 직면한 문제를 해결하기 위해서는 추론 비용 관리에 적극적으로 대응하는 자세가 필요하다. 다음과 같은 접근법을 고려할 수 있다.

• - 자원 활용 현황과 지출 내역을 실시간으로 파악할 수 있는 도구를 활용한다. 클라우드 사용 패턴을 모니터링하면 어느 영역에서 확장하고 어느 영역에서 절감할지 정보에 기반한 결정을 내릴 수 있다.
• - 다양한 사용 추세에 따른 비용 추정을 수행해 비용을 예측하고 예산 초과를 예방한다.
• - 클라우드 서비스 업체가 제시하는 요금제를 비교해 현명하게 선택한다. 사용량 기반 요금제가 항상 최선은 아니며, 고정 요금제가 특정 기업 요건에 더 적합할 수 있다.
• - 퍼블릭 클라우드와 프라이빗 클라우드를 병행하는 하이브리드 클라우드를 고려한다. 하이브리드 클라우드는 유연성을 높이고 비용을 효과적으로 최적화할 수 있다.

클라우드 서비스 업체와 협력하면 비용을 효과적이고 효율적으로 관리할 수 있는 방안을 모색할 수 있다. 특히 클라우드 서비스 업체는 산업별 과제를 해결하기 위한 맞춤형 솔루션을 제시하는 경우가 많다.

AI를 기업에 성공적으로 통합하는 과정은 수많은 장애물이 가득하다. 특히 클라우드 기반 추론 비용 통제는 가장 큰 난제다. AI 솔루션을 업무에 점점 더 적극적으로 도입하는 기업에게 비용 효율성과 실질적 관리 방안은 핵심이다. 이런 장애물을 인식하고 선제적으로 대응하는 것이야말로 AI의 잠재력을 충분히 활용하고 업계의 혁신을 촉진하는 길이다. 청구서가 터무니없이 부풀어 오르기 전에 대응해야 한다.

dl-itworldkorea@foundryco.com

David Linthicum editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지