“엔비디아 통합 메모리 없이” KAIST, 세계 최고 그래프 연산 ‘지플럭스’ 개발

윤희용 (왼쪽부터)·한동형·오세연 박사과정, 김민수 교수.[KAIST 제공]

[헤럴드경제=구본혁 기자] 일반적으로 복잡도가 높은 그래프 연산은 GPU 메모리의 제한으로 인해 매우 작은 규모의 그래프 등 비교적 단순한 연산만 처리할 수 있다는 한계가 있다. 국내 연구진이 25대의 컴퓨터로 2000초가 걸리던 연산을 한 대의 GPU 컴퓨터로 처리할 수 있는 세계 최고 성능의 연산 프레임워크를 개발하는데 성공했다.

KAIST는 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 1조 간선 규모의 초대규모 그래프에 대해 다양한 연산을 고속으로 처리할 수 있는 스케줄러 및 메모리 관리 기술들을 갖춘 일반 연산 프레임워크(GFlux, 지플럭스)를 개발했다고 27일 밝혔다.

연구팀이 개발한 지플럭스 프레임워크는 그래프 연산을 GPU에 최적화된 단위 작업인 ‘지테스크(GTask)’로 나누고, 이를 효율적으로 GPU에 배분 및 처리하는 특수한 스케줄링 기법을 핵심 기술로 한다. 그래프를 GPU 처리에 최적화된 자체 개발 압축 포맷인 HGF로 변환해 SSD와 같은 저장장치에 저장 및 관리한다.

기존 표준 포맷인 CSR로 저장할 경우, 1조 간선 규모의 그래프 크기가 9테라바이트(TB)에 이르지만, HGF 포맷을 활용하면 이 크기를 4.6테라바이트(TB)로 절반 가까이 줄일 수 있다. 또한 GPU에서는 메모리 정렬 문제로 그간 사용되지 않았던 3바이트의 주소 체계를 최초로 활용, GPU 메모리 사용량을 약 25% 절감했다.

또한 엔비디아(NVIDIA) 쿠다(CUDA)의 통합 메모리에 전혀 의존하지 않고, 메모리 부족으로 인한 연산 실패를 방지할 수 있도록 메인 메모리와 GPU 메모리를 통합적으로 관리하는 GTask 전용 메모리 관리 기술을 주요 핵심 기술로 포함하고 있다.

연구팀은 삼각형 개수 세기와 같은 고난도 그래프 연산을 통해 지플럭스 기술의 성능을 검증했다.

약 700억 간선 규모의 그래프를 대상으로 한 실험에서, 기존 고속 네트워크로 연결된 컴퓨터 25대를 이용해 약 2000초가 걸리던 삼각형 개수 세기 연산을 지플럭스는 GPU가 장착된 단일 컴퓨터만으로 약 두배 빠른 1184초 만에 처리하는 데 성공했다.

이는 단일 컴퓨터로 삼각형 개수 세기 연산을 성공적으로 처리한 현재까지 알려진 최대 규모의 그래프다.

김민수 교수는 “최근 그래프 RAG(검색증강생성), 지식 그래프, 그래프 벡터 색인 등 대규모 그래프에 대한 고속 연산 처리 기술의 중요성이 점점 커지고 있다”며 “지플럭스 기술이 이러한 문제를 효과적으로 해결할 것으로 기대한다”고 말했다.

이번 연구 결과는 ‘국제데이터공학학술대회’에서 지난 22일에 발표됐다.