[ET시론] 구글의 TPU 개발, AI 반도체 생태계 전환의 서막

2025년의 마지막 달이다. 올 한 해는 인공지능(AI)이 세상을 아침저녁으로 흔들어놓은, 말 그대로 정신없는 시간이었다. 영화 캐리비언의 해적에 나오는 유령선 블랙펄처럼, AI 기술 뉴스가 등장할 때마다 경제·정치·외교가 이승과 저승 사이를 오갔다.

소리에는 '정보가 되는 소리(시그널)'와 '방해가 되는 소리(노이즈)'가 있다. 하루에도 수십, 수백개의 AI 기술 발전에 대한 뉴스가 쏟아진다. 그 중에서 진짜 시그널을 찾아내는 것이 개인·기업·국가의 생존과 직결되는 시대가 됐다.

2025년 한 해는 '딥시크(DeepSeek) 태풍'으로 시작했다. 1월 28일 중국의 AI 스타트업 딥시크가 대형언어모델 'R1'을 공개했다. 딥시크는 오픈AI 대비 1/20의 비용으로 모델을 학습할 수 있다고 주장했다. 그 한 마디에 세계 기술업계와 금융시장이 뒤집어졌다. 딥시크 발표 직후 엔비디아의 주가는 하루 만에 17% 폭락했고, 시가총액 846조원이 단 하루 만에 증발했다. 뉴욕 증시 역사상 단일 기업 기준으로 가장 큰 감소폭이었다. “딥시크가 엔비디아 시대의 종말을 여는 것 아니냐”는 전망까지 나왔다. 11개월이 흐른 지금 상황은 어떤가. 현재 엔비디아의 주가는 1월 폭락 시점과 비교해 45% 상승해 있다. 지난 1월의 딥시크발 충격은 노이즈였다.

2025년을 마무리하는 즈음에, AI 반도체 시장은 다시 '구글발 태풍'의 한가운데에 서 있다. 11월 18일 구글은 차세대 AI 모델 '제미나이3'를 공개했다. 구글은 자체 제작한 AI 칩인 TPU로 제미나이3를 학습시켰다고 발표했다. 그 압도적인 성능은 즉시 주가에 반영됐다. 발표 직후 일주일 동안 구글의 주가는 12% 급등하며, 시가총액 순위에서 엔비디아와 애플에 이어 3위에 올랐다. 구글이 TPU를 처음 공개한 지 이미 10년이 지났고, TPU를 사용해 자체 AI 모델을 개발한 것도 이번이 처음이 아니다. 왜 이번 발표된 구글 TPU가 유독 파장을 일으키는지 짚어볼 필요가 있다.

하드웨어적 관점에서 보면 TPU가 AI 학습과 추론에서 GPU보다 앞선 결과를 내는 것은 어느 정도 자연스러운 흐름이다. GPU는 본래 AI가 아닌, 컴퓨터 모니터에 그래픽을 그리기 위해 개발된 제품이다. 모니터 화면은 수백만 개의 '픽셀'이라는 광원으로 이루어져 있고, 각 픽셀의 색·채도·밝기를 계산해 화면을 구성해야 한다.

여기에 흥미로운 특성이 있다. 계산은 단순하지만 계산해야 할 점, 즉, 픽셀의 수가 엄청나게 많다는 것이다. 이런 작업을 CPU로 처리하는 것은 과일을 깎는 데 값비싼 회칼을 쓰는 것과 같다. 가능은 하지만 비효율적이고 적합하지도 않다. 그래서 GPU가 탄생했다. GPU의 핵심은 단순 계산을 수행하는 프로세싱 코어를 대량으로 배치한 구조에 있다. 엔비디아의 최신 GPU인 H100은 약 1만5000여개의 코어를 갖고있다.

GPU는 수천개의 코어로 각 픽셀의 색·밝기·채도를 동시에 계산한다. 수천개의 구구단 문제를 천재 수학자 한 명 푸는 대신, 초등학생 수천 명이 한 문제씩 나누어 푸는 것과 비슷하다. 각 코어는 계산에 필요한 입력값과 계산결과를 메모리로부터 읽고, 메모리에 기록한다. 이러한 컴퓨터 구조를 폰 노이만 구조(Von Neumann)라 한다.

만약 한 코어의 계산 결과를 다른 코어의 입력으로 사용해야한다면, 하나의 코어의 계산결과를 메모리에 저장하고, 다른 코어가 그 결과값을 메모리에서 읽는 절차를 거친다. 초등학생 두명이 협동해서 곱셈 문제를 풀때, 한 학생이 계산 결과를 공책에 쓰고 다른 학생이 그 공책에 기록된 결과를 읽어 다음 계산에 이용하는 것과 같다. 이 과정에서 공책에 쓰고 다시 읽는 시간이 필연적으로 발생한다.

TPU가 주목받는 이유는, AI의 학습과 추론 과정에서 자주 등장하는 '여러 단계의 계산이 서로 이어지는 구조'에 최적화돼 있기 때문이다. GPU도 이런 작업을 처리할 수 있지만, GPU의 설계 방식상 앞 단계에서 나온 결과를 메모리에 저장하고 다시 불러오는 과정을 거쳐야 한다. 메모리 입출력이 발목을 잡는다. TPU는 폰 노이만 구조의 한계인 메모리 병목을 정면으로 해결했다. TPU는 한 코어의 계산 결과를 다음 코어가 사용할 때, 메모리에 기록하지 않고 곧바로 넘겨주는 구조를 사용한다. 이 방식을 시스톨릭(systolic) 구조라 한다. 미국 카네기멜론대의 컴퓨터 과학자 쿵(Kung)과 레이서슨(Leiserson)이 메모리 병목 문제를 해결하기 위해 1979년에 제안한 개념이다. 초등학생 두 명이 협동해 곱셈 문제를 풀 때, 앞사람이 뒷사람에게 계산 결과를 공책이 기록하고 읽는 과정없이 구두로 불러주는 방식이다.

공책에 쓰고 읽는 과정이 없어지니 속도·발열·효율이 모두 크게 좋아진다. AI 학습과 추론은 본질적으로 계층(layer) 간 계산 결과가 연쇄적으로 흐르는 과정이다. 한 계층의 계산 결과가 다음 계층의 입력으로 사용되고, 이 과정이 수백·수천 번 반복된다. GPU와 TPU의 이러한 구조적 특성 때문에 AI의 학습/추론에서 TPU가 GPU보다 성능, 전력 소모, 발열등 다양한 지표에서 우수한 특성을 보인다.

여기서 두가지 관전포인트가 있다.

한 가지는 TPU가 GPU에 비해 우수함에도 엔비디아 GPU가 시장독점체제를 유지할 수 있는 이유이고, 또 하나는 구글의 TPU가 잠재적 시장파괴력을 갖는 이유다. 공교롭게도 이 두 가지 이유에 대한 답이 동일하다.

구글, 아마존, 메타 등 빅테크들을 포함한 많은 회사들이 AI연산에 최적화된 칩을 내놓고 있다. 이들은 GPU보다 다양한 성능지표에서 앞선다. 그럼에도 엔비디아 독점체제는 여전히 공고하다. 엔비디아는 시장의 90%이상을 점유하고 있으며 영업이익률은 70%다. 그 이유는 엔비디아가 CUDA라는 강력한 해자를 갖고있기 때문이다. CUDA는 프로그래밍 언어다. 개발자가 AI하드웨어에게 할일을 지시할 때 사용하는 일종의 언어라고 보면된다.

엔비디아는 자사 GPU를 효율적으로 사용하기 위해 CUDA라는 언어를 2006년에 개발했다. 오랜기간 AI 모델의 학습과 추론을 하기 위해 기업·연구기관·스타트업·개발자들이 선택할 수 있는 유일한 옵션이 CUDA였다. 지금은 논문 구현체, 라이브러리, 예제 코드, 학계·산업 인프라, 엔지니어링 인력시장까지 모두 CUDA를 표준으로 삼고 있었다. CUDA는 엔비디아 GPU만 사용할수 있다. 20년간 구축돼온 강력한 CUDA생태계의 정점에 엔비디아 GPU가 자리잡고 있기에, 많은 도전에도 여전히 독점적 위치를 공고히 유지할 수 있다.

구글의 이번 TPU 발표는 새로운 형태의 AI 생태계 구축 가능성을 보인 것에 그 의미가 있다. CUDA를 배우지 않아도 최첨단 모델을 학습·배포할 수 있다는 것을 제미나이3.0를 통해 실증했다. 구글은 TPU를 클라우드 서비스로 제공하며, TPU칩 자체를 판매하겠다는 계획을 발표했다.

'AI=CUDA=엔비디아'라는 절대 공식을 깨뜨리고, AI 인프라를 다(多) 아키텍처 경쟁 시대로의 전환 가능성을 보여준 첫 번째 실질적 변수가 TPU다. 덕분에 기업들은 이제 “AI를 하기 위해서 CUDA를 따라야 한다”가 아니라 “CUDA와 TPU 중 어떤 것이 우리 워크로드에 더 적합한가”라는 질문을 할 수 있게 됐다. 이 변화는 기술적 의미를 넘어 전략적 의미가 크다. CUDA 생태계 때문에 빅테크는 어쩔수 없이 GPU 공급난과 가격 급등, 인프라 설비투자(CAPEX) 부담을 감수해야 했다. 하지만 이제는 클라우드 사업자와 대형 고객들이 엔비디아에 100% 올인할 필요가 사라졌다.

구글은 자사의 TPU를 통해 CUDA 생태계에 절묘한 균열을 내며 해자를 건너는 다리를 놓았다. 구글 TPU의 등장은 AI 반도체 시장이 '엔비디아 독점 체제'에서 '워크로드별 최적 아키텍처가 경쟁하는 체제'로 전환하는 거대한 생태계 변환의 서막이다. AI 반도체 시장이 단일 표준에서 다중 아키텍처 경쟁 구도로 전환되는 변곡점에 진입하기 시작했다는 신호다.

2025년의 AI 뉴스는 이렇게 딥시크로 시작해서 구글로 마치게 된다. 다시 한번 질문을 던져본다. 구글의 TPU기술 개발 소식은 시그널일까 노이즈일까.

원유집 KAIST 교수 ywon@kaist.ac.kr

KAIST 교수, KAIST 스토리지 연구센터장이다. 서울대에서 학사·석사를 받고 미국 미네소타대에서 컴퓨터과학으로 박사 학위를 받았다. 인텔에서 근무 후, 1999년 한양대에서 교수생활을 시작했고, 2019년 부터 KAIST 전자공학과 교수로 재직 중이다. 제39대 한국정보과학회 회장을 역임했다. 셋톱박스용 파일시스템, 플래시 메모리용 펌웨어등 상용기술개발에 성공하고, 세계 스토리지 기술발전에 일조했다. 운용체계 분야의 세계적 권위자다. 우리나라 시스템 소프트웨어의 경쟁력 강화를 위해 노력하고 있다.

[Copyright © 전자신문. 무단전재-재배포금지]