삼성 SSD로 AI 메모리 한계 넘는다.."추론 효율 1.5배 향상"

eSSD를 활용해 HBM 병목현상 완화 방식 실증...엔비디아도 SSD 활용 방안 추진

삼성전자의 기업용SSD인 PM1753 /사진제공=삼성전자

삼성전자가 AI(인공지능) 추론 서비스에서 발생하는 메모리 부족 현상을 해결하기 위한 방안으로 eSSD(기업용 솔리드스테이트스토리지)를 활용한 구조를 선보였다. 기존 대비 추론 효율이 1.5배(토큰 생성량 기준) 개선된 것으로 나타났다. 엔비디아도 같은 방식에 주목하면서 AI 데이터센터에서 SSD의 역할 확대가 기대된다.

15일 관련업계에 따르면 삼성전자는 최근 자사의 eSSD인 PM1753을 활용한 'KV(Key-value) 캐시 오프로딩' 방식을 LLM(거대언어모델) 서비스에 적용할 경우 동일한 하드웨어에서 1.7배 더 많은 사용자를 지원할 수 있다는 실험 결과를 도출했다. 초당 토큰 생성량(TPS)은 1.5배 증가하는 것으로 나타났다. 토큰은 AI가 문장을 생성할 때 사용하는 최소 단위로 초당 토큰 생성량(TPS)은 AI의 응답 생성 속도를 가늠하는 지표다.

LLM은 서비스 과정에서 대화의 맥락을 유지하기 위해 'KV 캐시'라는 임시 데이터를 생성한다. 하지만 문맥이 길어질수록 해당 데이터의 크기가 급격히 커져 AI GPU(그래픽처리장치)의 HBM(고대역폭메모리) 용량을 초과하는 병목 현상이 생긴다. 사용자가 많은 환경에서는 KV 캐시로 HBM이 빠르게 채워지면서 응답 지연도 발생한다.

삼성전자는 이런 문제를 해결하기 위해 KV 캐시를 GPU HBM이 아닌 SSD에 저장하는 오프로딩 방식을 실험했다. 오프로딩에 활용된 PM1753은 지난해 출시된 eSSD로 생성형 AI의 추론과 학습 환경을 겨냥해 개발된 제품이다. 최대 초당 14.5GB(기가바이트)의 순차 읽기 속도 등으로 오프로딩에 필요한 대역폭과 속도를 갖췄다.

삼성전자가 엔비디아의 H100 GPU 환경에서 실시한 검증 결과에 따르면 PM1753을 통한 KV 캐시 오프로딩 기술을 적용했을 때 동일한 하드웨어에서 동시 사용자 수용 능력이 1.7배 향상됐고, TPS 역시 1.5배 늘릴 수 있었다. 특히 경제성과 에너지 효율 측면에서도 개선 효과가 뚜렷했다. KV 캐시 오프로딩을 통해 GPU의 연산 부하를 낮춘 결과, 전체 시스템 전력 소비량은 기존 방식 대비 47% 감소했다. 에너지 효율은 최대 2.9배 개선된 것으로 나타났다.

비용 효율성도 높다. 서버 비용의 약 77%를 차지하는 GPU의 활용도를 극대화함으로써 전체 시스템 비용의 약 4%에 불과한 SSD 추가만으로 1.5배 높은 가격 대비 성능을 달성할 수 있다는 분석이다. 직접적인 성능 향상 외에도 데이터센터의 열 관리, 전력 효율, 장기적인 운영 안정성 측면에서 추가적인 개선 효과도 기대된다.

SSD를 활용한 KV 캐시 오프로딩은 엔비디아도 주목하는 방식이다. 엔비디아는 'CES 2026'에서 추론 과정에서 생성되는 컨텍스트 메모리(context memory)를 GPU HBM에만 의존하지 않고 SSD와 네트워크 스토리지(저장장치)로 확장하는 방향을 제시했다. 이는 HBM 증설만으로는 해결하기 어려운 메모리 병목을 저장 장치 확장으로 보완하려는 전략이다.

특별연설에서 젠슨 황 엔비디아 CEO(최고경영자)는 "'컨텍스트 메모리'가 담기기에는 HBM의 용량이 충분하지 않다"며 "다음 해결책은 당연히 네트워크를 통해 '저장 장치'를 활용하는 것"이라고 말했다. 엔비디아의 이런 접근이 본격화되면 AI 데이터센터 전반에서 SSD 수요 확대로 이어질 가능성도 있다.

업계 관계자는 "HBM 용량 부족 문제를 가격이 비싼 HBM 증설이 아니라 SSD를 활용해 일부 해소하는 방식"이라며 "AI 추론 환경에서 SSD의 역할이 커지면서 고성능 eSSD를 중심으로 새로운 수요가 형성될 수 있다"고 말했다.

김남이 기자 kimnami@mt.co.kr

Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.