딥시크 '엔그램' 공개…HBM 없이 AI 학습 가능

[AI리포터]

딥시크(deepseek) [사진: 셔터스톡]

[디지털투데이 AI리포터] 중국 AI 기업 딥시크가 메모리 저장과 연산을 분리하는 새로운 학습 기법을 공개하며, 대규모 AI 모델에서 고가 메모리 의존도를 낮출 수 있는 대안으로 주목받고 있다.

지난 17일(현지시간) IT매체 테크레이더에 따르면 딥시크는 베이징대와 공동으로 학습 기법 엔그램(Engram)을 개발했다.

기존 대형 언어모델은 지식 검색과 기본 연산 과정에서 고대역폭 메모리(HBM)에 크게 의존해 왔으며, 이로 인해 성능과 비용 측면에서 병목이 발생해 왔다. 이러한 구조는 AI 수요 확대와 맞물리면서 대규모 하드웨어 투자를 유발했고, DRAM 가격 급등의 배경 중 하나로 지목돼 왔다.

이 같은 한계를 개선하기 위해 제시된 것이 엔그램이다. 엔그램은 필요한 정보를 GPU 메모리에 모두 적재하는 방식 대신, 조회를 통해 불러오는 구조를 채택해 메모리 부담을 줄였다. 해시된 N-그램을 활용해 문맥과 무관한 정적 정보를 먼저 검색한 뒤, 이를 문맥 인지형 게이팅 메커니즘으로 조정해 모델 상태에 맞게 활용함으로써 GPU 메모리 사용량을 낮추고 연산 효율을 높이도록 설계됐다.

이 구조의 효과는 실험을 통해 확인됐다. 연구진은 270억개 파라미터 모델에 엔그램을 적용한 결과, 표준 산업 벤치마크에서 성능 개선이 나타났다고 밝혔다. 연산량이나 전체 파라미터 수를 늘리지 않고도 트랜스포머 구조를 강화했으며, 희소 모델에서 파라미터 예산의 약 20~25%를 엔그램 메모리 모듈에 배분할 경우 기존 혼합전문가(MoE) 모델보다 더 안정적인 성능 향상이 확인됐다는 설명이다.

이와 함께 엔그램은 시스템 확장성 측면에서도 장점을 보였다. 다중 GPU 환경에서 비동기 프리페칭(asynchronous prefetching)을 지원하고, 정적 지식 처리를 하위 계층에서 분리해 어텐션 메커니즘이 전역 문맥 처리에 집중할 수 있도록 했다. 기존 GPU 및 시스템 메모리 구조와 호환되며, CXL이나 SSD 기반 메모리 확장 기술과 함께 활용할 경우 고가의 HBM 업그레이드 부담을 줄이고 AI 인프라 전반의 메모리 제약을 완화할 수 있을 것으로 기대된다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>