차이나텔레콤, 화웨이 칩으로만 학습한 중국 첫 MoE 모델 개발

[박찬 기자]

(사진=셔터스톡)

중국 최대 통신사 차이나텔레콤이 화웨이의 첨단 AI 칩만을 사용해 대규모 AI 모델을 학습시키는 데 성공하며, '탈미국 기술' 전략의 또 다른 이정표를 세웠다. 지난주 화웨이 칩으로 훈련한 이미지 모델을 공개한 지푸 AI에 이어 중국의 기술 자립 사례가 잇달아 등장하고 있다.

20일(현지시간) 사우스차이나모닝포스트(SCMP)에 따르면, 차이나텔레콤은 산하 AI 연구소 텔레AI가 화웨이의 어센드(Ascend) 910B 칩과 오픈 소스 딥러닝 프레임워크 마인드스포어(MindSpore)를 활용해 AI 모델 '텔레챗3(TeleChat3)'를 학습했다고 보도했다.

텔레챗3는 1050억개부터 수조개에 이르는 매개변수 규모를 갖춘 모델로, "화웨이 칩만으로 훈련된 최초의 전문가 혼합(MoE) 구조 AI 모델"로 소개됐다.

MoE 아키텍처는 2024년 12월 공개된 '딥시크-V3'를 계기로 중국 AI 업계 전반에 빠르게 확산하며, 첨단 AI 모델의 사실상 표준으로 자리 잡았다. 하지만, 훈련과 운영 난도가 높아 고성능 하드웨어와 소프트웨어 스택이 필수로 여겨져 왔다.

텔레AI 연구진은 "화웨이의 하드웨어와 소프트웨어 스택이 대규모 MoE 모델 학습에 요구되는 까다로운 조건을 충족했다"라며 "국내 연산 생태계에 맞춘 성숙한 풀스택 솔루션을 구축했다"라고 밝혔다. 이는 미국산 칩 없이도 초대형 AI 모델을 학습할 수 있음을 입증했다는 의미다.

하지만, 성능 면에서는 한계도 드러났다. 자체 벤치마크 결과에 따르면, 텔레챗3는 일부 지표에서 오픈AI가 지난해 8월 공개한 오픈 모델 'gpt-oss-120B'에 비해 뒤처지는 성능을 보였다. MoE 구조의 기술적 난이도와 생태계 성숙도의 차이가 여전히 존재한다는 평이다.

그럼에도 중국 내에서는 유사한 시도가 잇따르고 있다. 지난주에는 지푸 AI가 화웨이 칩만으로 학습한 이미지 생성 모델이 업계 최고 수준의 성능을 기록했다고 발표했다.

앤트그룹 연구진도 "고급 GPU 없이도" 3000억 매개변수 규모의 MoE 모델을 훈련하는 데 성공했다고 밝혔지만, 사용한 칩이 전적으로 중국산인지에 대해서는 구체적으로 언급하지 않았다.

이 같은 움직임은 미국의 수출 통제 강화에 따른 것이다. 중국 정부는 앞으로 5년간 AI 모든 스택에서의 자립을 핵심 국가 전략으로 내세우고 있다.

한편, 엔비디아는 얼마 전부터 MoE 모델 학습에 자체 GPU와 머신러닝 프레임워크가 세계 최고 수준이라고 강조하고 있다.

하지만, 중국 당국이 'H200' 칩 수입을 막으며 상황이 복잡해지고 있다는 석이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>