비씨카드, 모델 크기 70% 줄인 양자화 LLM 공개

비씨카드는 양자화된 초거대 언어모델(LLM) 18종을 글로벌 인공지능(AI) 플랫폼 허깅페이스에 공개했다고 9일 밝혔다. 이번에 공개한 LLM은 고가의 GPU 장비 없이도 누구나 초거대 AI를 활용할 수 있도록 동적 양자화 기술이 적용했다.

공적 양자화는 AI 모델이 사용하는 수치를 압축해 배포한 뒤 실제 활용 시점에 복원해 연산 성능과 효율성을 동시에 높이는 기술이다. 비씨카드는 자체 기술을 통해 수치 손실 없이 기존 정확도를 유지하는 '손실률 0%' 양자화를 구현했다고 밝혔다. 모델 크기는 70% 이상 줄이면서 성능은 그대로 유지할 수 있었다고 비씨카드는 밝혔다.

비씨카드에 따르면 글로벌 기업의 최신형 GPU에서 비씨카드의 양자화 LLM을 실행한 결과, AI 연산 속도는 최대 3.5배 빨라졌다. 4000만원대 고가 GPU에서만 구동 가능했던 320억개 파라미터 규모 모델도 300만원대 GPU에서 원활히 작동하는 성능을 입증했다. 고가 장비 도입에 부담을 느꼈던 중소기업, 스타트업, 소상공인들도 보다 저렴한 환경에서 초거대 AI 기술을 실질적으로 활용이 가능해진 셈이다.

비씨카드는 향후 소상공인 가맹점주를 위한 AI 기반 가맹점 추천 및 마케팅 캠페인 기획 등 가맹점 지원 서비스도 연내 출시할 계획이다. AI에 익숙치 않은 사용자도 손쉽게 활용할 수 있도록 MCP 기반의 다양한 기능들을 간편한 인터페이스로 제공하는 통합 솔루션도 함께 선보일 예정이다.

조명식 BC카드 상무는 “이번 LLM 모델 공개는 고가 장비 없이도 다양한 산업현장과 금융 업무에서 AI를 효율적으로 적용할 수 있는 기반을 마련한 것”이라며, “앞으로도 누구나 쉽게 활용할 수 있는 AI 기술을 통해, 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다”고 밝혔다.

류근일 기자 ryuryu@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]