[DIC 2025] ③ '온디바이스 AI' 중앙→엣지…데이터센터 전력 위기 돌파구 될까

[디지털데일리 김문기 기자] AI 인프라 경쟁은 더 이상 데이터센터만의 문제가 아니다. 성능을 높이기 위해 GPU 서버를 늘리는 방식은 전력망과 냉각 설비에 과도한 부담을 안기며 한계에 부딪혔다.

이 때문에 업계는 전력이라는 절대적 제약 속에서 효율을 높일 수 있는 길을 모색하고 있다. 그 핵심 키워드는 ▲분산 ▲추론 효율화 ▲지속가능성이다. 특히 분산의 한 갈래인 온디바이스 AI는 단말기와 엣지에서 연산을 처리함으로써 데이터센터 의존도를 낮추고, 동시에 사용자 경험을 새롭게 정의하는 대안으로 떠오르고 있다.

'온 디바이스 AI'는 기술적 필요에서 비롯됐다. 초거대 모델이 학습에 수천 대의 GPU를 필요로 하는 반면, 추론은 훨씬 작은 규모로도 가능하다. 이를 중앙 데이터센터에서만 처리하는 것은 막대한 전력과 비용을 초래할 뿐 아니라 지연 시간도 늘린다. 스마트폰, PC, 웨어러블, 차량 등 사용자 가까운 기기에서 직접 연산을 수행하면, 데이터센터의 전력 부담을 줄이고 개인화된 서비스 품질을 높일 수 있다.

이 같은 흐름은 이미 주요 기업들의 전략에서 확인된다. 애플은 올해 WWDC에서 ‘애플 인텔리전스(Apple Intelligence)’를 아이폰, 아이패드 맥에 직접 심겠다고 밝혔다. 개인정보 보호를 이유로 들었지만, 동시에 전력과 네트워크 부담을 줄이는 효과를 노렸다.

삼성전자 역시 갤럭시 AI를 4억대 기기에 탑재하겠다고 선언했다. 모바일 기기에 AI를 내장해 글로벌 단위의 분산 인프라를 구현하겠다는 의지다. 이는 전통적으로 중앙집중형이던 클라우드 아키텍처를 분산형으로 재편하는 출발점이다.

퀄컴은 ‘어디서나 지능형 컴퓨팅을 실현하다(Enabling Intelligent Computing Everywhere)’라는 비전을 내세우며, 스마트폰과 PC, IoT 기기 전반에서 온디바이스 AI를 구현하는 전략을 강조해왔다. 스냅드래곤 시리즈에 탑재된 NPU와 AI 엔진은 단순한 음성 인식이나 카메라 최적화 수준을 넘어, 생성형 AI 모델을 기기 내에서 직접 실행할 수 있도록 설계됐다.

최근 공개된 스냅드래곤 X 엘리트와 차세대 모바일 칩은 수십억 매개변수 규모의 모델을 온디바이스에서 처리할 수 있다는 점을 내세우며, 데이터센터 의존도를 낮추는 대표적 사례로 꼽힌다. 퀄컴은 이를 통해 AI 연산을 클라우드와 단말기 사이로 분산시키고, 지연 시간 단축과 개인정보 보호, 전력 절감이라는 세 가지 가치를 동시에 달성하겠다는 목표를 제시하고 있다.

분산이 가져올 변화는 단말기 차원에만 머물지 않는다. 스마트 공장, 자율주행차, 원격 의료, 스마트시티 등 다양한 산업 영역에서 엣지 단의 지능화는 네트워크 부하와 데이터센터 부하를 동시에 줄여준다. 국내에서도 통신사와 클라우드 사업자들이 5G·6G 네트워크와 결합한 엣지 인프라를 시험하고 있다. 전력과 비용 절감뿐 아니라, 실시간성이 요구되는 서비스에서 데이터센터로 돌아가는 우회 경로를 줄이는 것이 분산의 가장 큰 가치다.

추론 효율화는 또 다른 축이다. 학습은 일회성에 가깝지만, 추론은 반복된다. 오픈AI의 추정치에 따르면 챗GPT의 운영 비용 중 절대 다수는 추론에서 발생한다. 맥킨지는 AI 추론 수요가 학습 대비 최소 10배 이상의 전력을 소모할 수 있다고 분석했다. 이 때문에 업계는 연산 장치와 소프트웨어를 동시에 최적화하는 전략을 취하고 있다.

엔비디아는 최근 GPU 아키텍처에 저전력 연산 모드를 탑재했고, 인텔은 전용 추론 가속기와 함께 메모리 효율성을 강화하는 전략을 추진한다. 구글은 자체 TPU를 통해 양자화 모델을 표준화하며, 동일한 연산을 절반 이하의 전력으로 수행하는 방안을 찾고 있다. 모델 프루닝, 양자화, KV 캐시 등은 이제 기술 선택지가 아니라 필수적 도구로 자리 잡았다.

지속가능성은 국가 차원의 제약에서 비롯된다. 아시아태평양 지역은 빠른 수요 증가와 함께 탄소 규제를 동시에 맞닥뜨리고 있다. 싱가포르는 데이터센터 신규 건설을 사실상 동결했다가, 재생에너지 사용과 효율 기준을 충족한 프로젝트만 허용하는 조건부 정책으로 전환했다. 일본도 재생에너지 전용 공급망과 연계한 데이터센터 허가제를 도입하고 있다.

우리나라 역시 수도권 전력망 한계로 평택, 파주 등지의 대규모 데이터센터 전력 인입 지연 사례가 발생했다. 정부는 데이터센터 에너지효율 인증제와 탄소중립 가이드라인을 내놨지만, 실효성 확보는 아직 과제다. 결국 저전력 반도체, ESS 연계, 모듈형 데이터센터 설계는 단순 기술 옵션이 아니라 사업 지속성을 좌우하는 열쇠가 되고 있다.

결과적으로 분산은 데이터센터 전력 부담을 덜고, 추론 효율화는 같은 장비에서 더 많은 연산을 가능하게 하며, 지속가능성은 장기적으로 전력망과 환경 규제를 돌파하는 방안이 된다. 모두가 향하는 지점은 효율이다. AI 인프라 경쟁은 이제 '최대 성능'의 경쟁이 아니라, 제한된 전력과 자원 속에서 얼마나 많은 유효 연산을 생산해낼 수 있는가의 싸움으로 옮겨가고 있다.

온디바이스 AI가 이 흐름의 선두에 선 것은 단말기가 전 세계적으로 수십억 대 보급돼 있다는 점 때문이다. 이 자체가 분산된 슈퍼컴퓨터 역할을 하며, 데이터센터에 집중된 전력 부담을 줄이는 효과를 낸다. 추론 효율화와 지속가능한 인프라 전략이 맞물릴 때, AI 생태계는 폭발적 성장과 함께 지속성을 담보할 수 있다.

결국 누가 먼저 현실적인 분산 전략을 구현하고, 추론 효율을 끌어올리며, 전력망 제약을 돌파할 수 있는 인프라 모델을 완성하느냐가 AI 시대의 주도권을 결정할 것이다.

이 같은 문제의식을 바탕으로, 디지털데일리는 창간 20주년을 맞아 오는 18일 서울 여의도 전경련회관 컨퍼런스센터에서 ‘제3회 DIC 2025’를 개최한다. 이번 행사는 ‘지속가능한 AI 시대를 위한 저전력 인프라 혁신 – 데이터 폭증 시대, 생존을 위한 인프라 리디자인’을 대주제로, AI 인프라의 에너지 효율화와 탄소중립 전략을 다룬다.

데이터센터는 고성능 연산 수요를 감당하기 위해 초고밀도 설계와 집적화를 가속화하고 있다. 이에 따라 ▲급증하는 전력 소비, ▲심화되는 냉각 부담, ▲전력망 부하 불균형 등이 동시에 발생하며, ICT 인프라의 지속 가능성을 위협하고 있다. 단순히 기업의 운영 효율 문제를 넘어, 에너지 정책과 탄소중립 전략의 접점에서 이 문제는 더 이상 미룰 수 없는 과제로 받아들여지고 있다.

이번 컨퍼런스는 이러한 현실적 위기와 구조적 한계를 타개할 수 있는 기술적·정책적 해법을 모색하는 자리로 구성된다. LG전자, NHN클라우드, 리벨리온, 인텔코리아, 삼성디스플레이, 퀄컴, 엠피리온디지털, LG에너지솔루션, SK텔레콤 등 국내외 주요 ICT 및 에너지 기업들이 발표자로 참여해, 자사의 인프라 전략과 기술 비전을 공유한다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -