컨텐츠로 건너뛰기
뉴스
서울
흐림 / 7.0 °
동아일보 언론사 이미지

LG CNS, GPU 2장만으로 ‘추론형 LLM’ 구동

동아일보 김하경 기자
원문보기
AI기업 ‘코히어’와 공동 개발

세계적 모델들에 성능 앞서
LG CNS가 글로벌 인공지능(AI) 유니콘 기업 ‘코히어’와 함께 1110억 파라미터(매개변수)를 갖춘 추론형 거대언어모델(LLM)을 개발했다고 10일 밝혔다. 한국어와 영어 등 23개 언어를 지원하는 이번 LLM은 추론 등 핵심 성능에서 글로벌 상위 모델을 뛰어넘는 결과도 냈다.

LG CNS는 이번 LLM 개발을 위해 코히어의 기업용 LLM인 ‘커맨드’ 모델에 그동안 LG CNS가 축적해 온 정보기술(IT) 전문성과 AI 기술력을 결합했다. 이번에 개발한 LLM은 온프레미스(On-premises·서버에 직접 설치해 운영) 방식으로 제공해 고객사들이 민감한 데이터를 외부로 유출하지 않고 자체 인프라 안에서 안전하게 처리할 수 있도록 할 계획이다.

LG CNS에 따르면 이번 LLM은 한국어와 영어에서 우수한 추론 능력을 보였다. 양사가 자체 테스트한 결과 대표적인 추론 능력 검증 테스트인 ‘매쓰(Math)500’과 ‘미국초청수학시험(AIME) 2024’에서 한국어 및 영어 모두 GPT-4o, GPT4.1, 클로드 3.7 소넷 등 글로벌 LLM보다 높은 점수를 기록했다.

이번 LLM의 또 다른 장점은 모델 압축 기술을 이용해 두 장의 그래픽처리장치(GPU·한 장당 80Gb 데이터 처리)만으로 구동할 수 있다는 점이다. 통상적으로 파라미터 1000억 개 이상의 LLM에는 최소 네 장의 GPU가 필요하다. LG CNS 관계자는 “코히어와 지속적으로 협력해 LLM의 성능을 고도화해나갈 계획”이라고 밝혔다.

김하경 기자 whatsup@donga.com

Copyright Ⓒ 동아일보. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

info icon이 기사의 카테고리는 언론사의 분류를 따릅니다.

AI 이슈 트렌드

실시간
  1. 1응팔 10주년 류준열 혜리
    응팔 10주년 류준열 혜리
  2. 2전재수 통일교 의혹 조사
    전재수 통일교 의혹 조사
  3. 3김단비 우리은행 4연승
    김단비 우리은행 4연승
  4. 4정관장 인쿠시 데뷔
    정관장 인쿠시 데뷔
  5. 5민희진 보이그룹 뉴진스
    민희진 보이그룹 뉴진스

동아일보 하이라이트

파워링크

광고
링크등록

당신만의 뉴스 Pick

쇼핑 핫아이템

AD