"모델 경량화로 AI 가속화 돕겠다"...김형준 스퀴즈비츠 대표

[이주영 기자]

김형준 스퀴즈비츠 대표가 'AI 모델 경량화' 기술을 설명하고 있다.

스퀴즈비츠(대표 김형준)는 지난달 생성 인공지능(AI) '스테이블 디퓨전'을 이용해 모바일에서 고작 7초만에 이미지를 생성하는 데모를 선보여 주목받았다.

보통 PC에서 이미지를 생성하는 데도 몇분이 걸리기 일쑤인 스테이블 디퓨전을 모바일에서 몇초 만에 구동한 것도 대단한데, 지난 2월 퀄컴이 처음으로 스냅드래곤8 2세대 칩셋에서 스테이블 디퓨전을 구동하는 데 걸린 15초를 앞서는 속도였다. 즉 스퀴즈비츠가 2배나 빠른 셈이다.

김형준 스퀴즈비츠 대표는 이를 'AI 모델 경량화'라는 기술 때문이라고 설명했다. "AI 모델은 학습과 추론 과정에서 고비용의 전산 자원과 많은 연산량이 필요하기 때문에 개발 지연과 비용 문제 등이 생기는 데, 이를 해결하기 위해 사용하는 방법의 하나"라고 밝혔다.

2015년 제프리 힌튼 토론토대학교 교수의 '증류(Distillation)' 기법으로 시작한 경량화는 오토ML, 프루닝(Pruning), 양자화(quantization) 등 기법을 통해 대용량 모델이나 다수의 모델을 작은 규모로 압축, 학습 속도를 높이면서도 성능을 유지하는 기술이다.

특히 LLM에 들어가는 비용과 시간으로 인해 기업이 부담을 느끼고 이에 따라 소형LLM까지 속속 등장하는 분위기에서, 이같은 AI 모델 경량화는 '돈 벌어주는 AI 기술'로 각광받고 있다.

이 정도면 본격적으로 사업에 나설만도 한데, 김형준 대표는 "아직도 경험을 쌓는 중"이라고 말했다.

"지난 1년간 다양한 AI 모델을 상대로 경험을 축적해지만, 여전히 배우는 단계"라며 "그러나 세계 최고 수준으로 기술을 고도화해 기업의 AI 도입을 돕는 데 도움이 되겠다는 것이 목표"라고 말했다.

스퀴즈비츠는 기업의 AI 모델 특징에 맞게 여러 기법들을 활용해 맞춤형 경량화를 진행한다. 특히 주력으로 사용하는 기법은 양자화로, 연산한 값을 숫자로 표현할 때 사용할 비트 개수를 적게 사용하도록 하는 기법이다. 32비트짜리 값을 표현할 때 8비트를 사용하도록 하는 식이다.

이렇게 양자화를 하게 되면 모델의 정확도가 떨어질 수 있기 때문에 이 기법의 관건은 정확도 저하를 최소화하는 것이다. 지금까지 양자화 기술은 8비트까지 연구돼 왔지만, 스퀴즈비츠만의 기술로 4비트 아래로 낮추면서 정확도는 유지하는 것이 가능하다는 설명이다.

"이것이 가능한 이유는 포스텍 대학원에서 딥러닝 가속기 하드웨어(NPU)를 연구하던 동기들이 박사 졸업 후 함께 창업한 팀으로, 딥러닝 전용 하드웨어까지 직접 설계한 경험이 있기 때문"이라고 전했다.

이런 까닭에 업계도 일찌감치 스퀴즈비츠의 가능성에 주목하고 있었다.

지난해 3월 창업 직후 아무 레퍼런스 없이도 네이버와 포스텍홀딩스로부터 시드 투자 유치에도 성공했다. 이후 네이버 클로바, SK텔레콤 등 초거대 AI 보유 기업은 물론 다양한 분야의 AI 스타트업과도 기술검증(PoC)을 진행했다.

특히 지난 1년간 다양한 기업과 현장에서 AI 모델 경량화 기술을 진행한 것이 가장 큰 도움이 됐다고 밝혔다. 김 대표는 "의료 AI와 교육 AI는 프레임워크부터 데이터셋까지 성격이 완전히 다르다"라며 "지난 1년간 다양한 분야의 기업 20여곳과 협업할 수 있었던 것이 큰 자산"이라며 타 업체와 더욱 격차를 벌여가겠다고 말했다.

회사가 초점을 맞추는 것도 당장의 사업화 및 수익 창출이 아니다. 기업마다 AI 모델과 데이터, 하드웨어가 천차만별이라, 가장 효율적으로 기술을 적용하기 위해서는 끊임없는 기술 고도화와 노하우 구축이 필요하다는 말이다. 또 AI를 도입하는 굵직한 기업이면 대부분 경량화 전담 팀을 운영하는 등 독보적인 분야는 아니다.

따라서 논문으로 쏟아져 나오는 최신 기술을 가장 먼저 현장에 도입, 빠르게 노하우를 쌓는 것이 중요하기 때문에 14명 직원 전부가 매일 논문 사이트를 뒤져가며 '열공'하는 분위기라고 전했다.

최근에는 모든 기업 요청에 응하는 것이 불가능할 정도로 바빠지며 인력 확보가 가장 큰 숙제가 됐다. "AI 모델에 대한 전반적인 이해와 경량화 기술에 대한 전문성 두 가지를 동시에 갖춘 인재를 찾기 어렵다"고 말했다. 그래서 자체적으로 관련 워크숍을 열어 전문가를 양성하고 관련 기업과의 커뮤니티 활동을 통해 인재 풀을 넓히는 작업에도 나섰다.

"사정이 이러다 보니 당장은 본격적으로 사업에 나서 매출에 매달리기보다, 30~40명 규모의 전문 기술 인력을 꾸리고 기술을 고도화하는 것이 우선"이라고 밝혔다.

이는 "현재 진행 중인 기업과의 협업에서 생기는 수익만으로도 회사 운영이 충분하기 떄문"이라는 설명이다. 또 하반기에는 AI 모델 경량화를 돕는 SaaS(서비스형 소프트웨어) 형태의 툴킷도 내놓을 예정이다.

당장 수익보다 기술 구축에 힘을 싣는 것은 그만큼 목표도 뚜렷하기 때문이다. 김 대표는 "경량화는 기업이 AI를 보다 효율적으로 사용해 비용을 줄여주는 '돈 벌어주는 기술'"이라며 "최고의 경량화 기술을 갖춰 더 많은 기업의 AI 도입을 지원, 산업계 전반의 생산성을 높일 수 있도록 스퀴즈비츠가 돕겠다"라고 강조했다.

이주영 기자 juyoung09@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>