“하이퍼스케일러의 아성에 도전한다” AI 워크로드 시장을 흔드는 네오클라우드 : zum 뉴스

네오클라우드(Neocloud)는 영화 ‘매트릭스’에 등장하는 용어도 아니고, 특정 제품이나 기술, 서비스도 아니다. GPUaaS(GPU processing-as-a-service)를 제공하는 클라우드 서비스 업체를 통칭하는 표현이다. 일부는 스타트업이며, 일부는 암호화폐 채굴용으로 GPU를 모으다 GPUaaS로 전환했다. 데이터센터 건설과 운영을 본업으로 하는 곳도 있다.

한 가지 공통점은 이들 모두가 AI, 머신러닝, 데이터 분석 등 고성능 컴퓨팅이 필요한 다양한 워크로드 수요 증가를 기회로 삼고 있다. AI 관련 사업에는 벤처캐피털 자금도 풍부하게 유입되고 있다.

코어위브(CoreWeave), 람다 랩스(Lambda Labs), 크루소(Crusoe), 네비우스(Nebius)로 대표되는 네오클라우드는 같은 GPUaaS를 제공하는 범용 하이퍼스케일러와 정면으로 경쟁한다. 네오클라우드는 GPUaaS에 특화된 전문 업체로, 가격과 기술적 전문성을 무기로 한다.

시장조사기관 포춘 비즈니스 인사이트(Fortune Business Insights)에 따르면, 글로벌 GPUaaS 시장 규모는 2023년 32억 3,000만 달러에서 2032년까지 498억 4,000만 달러로 연평균 36%씩 성장할 전망이다. 이 수치에는 하이퍼스케일러와 네오클라우드 모두가 포함된다.

주요 네오클라우드 업체

네오클라우드 시장에서 주도권을 잡은 주요 기업 네 곳은 자금 조달 규모, 기업공개 성공 여부, 공개된 매출 기준에서 이름을 올렸다.

- 코어위브(CoreWeave). 네오클라우드 업계에서 확고한 1위다. 누적 투자액은 70억 달러를 넘어섰으며, 엔비디아가 투자자로 참여해 GPU 수급에도 유리한 고지를 점하고 있다. IPO에도 성공했다. 첫 실적 보고서에서 분기 매출이 약 10억 달러에 달했으며, 연매출 50억 달러를 전망하고 있다. 마이크로소프트, 오픈AI, 구글, 엔비디아 등 유수 고객을 보유하고 있다. AI 워크로드용 오브젝트 스토리지와 CPU 클러스터도 제공한다.

- 람다랩스(Lambda Labs). 스스로 ‘AI 개발자 클라우드’라고 부른다. 클라우드 GPU뿐 아니라 인피니밴드 네트워킹과 스토리지를 포함한 온프레미스 프라이빗 클라우드 GPU 클러스터도 제공한다. ‘원클릭 클러스터’ 기능을 앞세워 가격 경쟁력과 사용 편의성을 강조하고 있다. 엔비디아가 투자자로 참여하고 있다.

- 크루소(Crusoe). 데이터센터 구축을 본업으로 하며, 지속 가능성과 재생 에너지에 초점을 맞추고 있다. 최근에는 AI 데이터센터에 사용할 4.5GW 규모 천연가스를 확보했다고 발표했다. 최신 GPU 인프라와 지능형 오케스트레이션, API 기반 관리형 서비스를 제공한다. 지난해 12월에는 6억 달러를 투자받았다.

- 네비우스(Nebius). 본사는 암스테르담에 있으며, 핀란드에 대형 데이터센터를 운영하고 있고 미국 미주리주에도 설립 계획을 갖고 있다. AI 인프라를 통합 제공하는 GPUaaS가 주력 제품이다. 5월 20일 발표한 실적에 따르면, 분기 매출은 5,530만 달러였으며 연간 반복 매출이 7억 5,000만~10억 달러에 이를 것으로 전망했다.

네오클라우드 vs. 하이퍼스케일러

대부분 기업은 하나 이상의 하이퍼스케일러와 협업 관계를 맺고 있으며, 오라클이나 IBM까지 포함하면 그 수는 더 늘어난다. 모든 하이퍼스케일러가 GPUaaS를 제공하는 상황에서 기업이 신생 네오클라우드를 선택하는 이유는 무엇일까?

업타임 인스티튜트 클라우드 컴퓨팅 수석 리서치 디렉터 오언 로저스는 “답은 간단하다. 가격이다”라고 말했다. 업타임은 주요 하이퍼스케일러 3곳과 네오클라우드 3곳의 가격을 비교했다. 그 결과, 엔비디아 DGX H100 인스턴스를 온디맨드 방식으로 구매했을 때 하이퍼스케일러의 시간당 평균 요금은 98달러였다. 유사한 사양의 인스턴스를 네오클라우드에서 구매하면 시간당 34달러로 66% 저렴하다.

로저스는 “네오클라우드는 신구 하드웨어 인프라를 모두 관리할 필요가 없어 비용이 낮을 수 있다. 하이퍼스케일러는 다양한 CPU, GPU, 특수 장비를 기반으로 인프라, 플랫폼, 소프트웨어 서비스를 대규모로 제공해야 한다. 이들은 수십 개 제품군에 수백만 개 단위의 품목을 판매하지만, 네오클라우드는 수십 개 수준의 단일 제품군만 제공한다. 덕분에 다양한 전문 인력 없이도 운영할 수 있고, 동일한 IT 자산을 대규모로 최적화하며, 관리 부담도 줄일 수 있다. 이렇게 절감한 비용을 고객에게 더 낮은 가격으로 제공하는 구조다”라고 설명했다.

하이퍼스케일러가 마음만 먹으면 GPUaaS 가격을 낮춰 네오클라우드와 경쟁할 수 있지만, 그렇게까지 할 필요는 없다는 없다. 기업 입장에서 새로운 클라우드 업체와 계약을 맺기보다는 기존 하이퍼스케일러를 그대로 이용하는 것이 여러 면에서 편리하기 때문이다. 로저스는 “하이퍼스케일러의 데이터센터는 보안과 규제 준수를 모두 갖췄고, 기업 IT 환경에 익숙한 관리·모니터링 도구도 제공한다. 새로운 업체와 계약을 맺지 않아도 된다. 기존 하이퍼스케일러를 그대로 쓰는 것이 더 비싸더라도 단순하고 편리한 선택이다”라고 덧붙였다.

하이퍼스케일러와 네오클라우드의 시간당 비용 비교

기존 클라우드 서비스 업체를 이용한다면, 평균 활용률이 22%만 넘어도 온프레미스 전용 인프라가 더 저렴하다. 하지만 네오클라우드를 이용한다면, 평균 활용률이 무려 66%를 넘어야 한다.Uptime Institute

네오클라우드 vs. 온프레미스 전용 인프라

업타임은 온프레미스 전용 GPU 인프라, 하이퍼스케일러, 네오클라우드 간 비용 차이도 분석했다. 전용 인프라 클러스터를 장기간 평균 22% 이상 활용하면 하이퍼스케일러보다 비용이 저렴해진다는 결과가 나왔다.

하지만 네오클라우드보다 더 많은 비용을 절감하려면 활용률을 66%까지 끌어올려야 한다. 업타임은 “활용률 66%를 넘기려면 AI 워크로드 배치 효율이 매우 높아야 하므로 대부분 기업에는 어려운 수준”이라며, “이 같은 상황에서는 전용 인프라를 직접 구축하는 것보다 네오클라우드를 이용하는 편이 비용 면에서 유리하다”라고 분석했다.

네오클라우드의 장단점

가격 이외에도 네오클라우드는 다양한 장점이 있다. 수랭 시스템, 인피니밴드 네트워킹, 최신 엔비디아 GPU, 대규모 엔터프라이즈 수요 대응 역량, 온디맨드 유연성 등 네오클라우드의 데이터센터는 최신 기술과 설비의 결정체이다. AI 도입 초기 단계인 기업에는 대규모 온프레미스 데이터센터를 구축하지 않고도 다양한 실험을 진행할 수 있는 환경이 된다. 신속한 시장 출시도 장점이다.

하지만 고려해야 할 요소도 많다.

- GPU 접근성. 요즘 같은 AI 열풍 속에서 GPU 수요는 언제나 공급을 초과한다. 네오클라우드는 최신 엔비디아 GPU를 확보하기 위해 서로 경쟁할 뿐 아니라, 하이퍼스케일러와 일반 기업과도 경쟁하고 있다. 기업은 네오클라우드가 최신 GPU를 안정적으로 공급받을 수 있는 확보망을 갖추고 있는지 확인해야 한다.

- 가격 인하 경쟁. 현재 네오클라우드는 가격 경쟁을 벌이고 있는데, 무리한 바닥 가격 경쟁에 대한 우려도 있다. GPU 시간당 8달러 수준이던 가격은 이미 2달러 아래로 내려왔다. 예컨대, 네비우스는 엔비디아 H200 GPU를 시간당 3.50달러, H100은 2.95달러, L40S GPU는 1.55달러에 제공하고 있다. 네오클라우드도 수익 다변화를 위해 추가 서비스를 제공할 가능성이 크다.

- 업체 통합 가능성. IT 업계에서는 경쟁과 협력이 동시에 일어난다. GPU 시장을 사실상 독점하고 있는 엔비디아는 여러 네오클라우드에 투자하고 있다. 마이크로소프트와 구글은 하이퍼스케일러이자 동시에 코어위브의 고객이기도 하다. 시장은 점차 승자와 패자를 가려낼 것이고, 업체 통합도 뒤따를 가능성이 있다.

- AI 서비스화. 기업이 AI 전략을 수립할 때, 네오클라우드에서 GPU 자원을 임대하는 방식도 고려 대상이다. 하지만 이 방식은 여전히 기업이 복잡하고 어려운 기술이 필요한 AI 애플리케이션을 직접 구축하고 운영해야 한다는 부담이 따른다. IaaS에서 SaaS로 전환한 것처럼, 일부 클라우드 서비스 업체는 사전 학습된 모델을 제공하는 AIaaS를 제공하고 있다. 덕분에 기업은 AI 프로젝트를 더 빠르고 쉽게 시작할 수 있다. 모든 하이퍼스케일러가 AIaaS를 제공하며, 데이터로봇, 데뷔트인포테크, C3.ai, 팔란티어 등도 이 시장에 참여하고 있다.

dl-itworldkorea@foundryco.com