메타, LLM '연산 회로' 분석해 추론 오류 발견·수정하는 기술 개발

[박찬 기자]

대형언어모델(LLM)의 추론 과정 오류를 실시간으로 탐지하고 수정할 수 있는 새로운 기술이 나왔다.

메타의 AI 연구소 FAIR와 에든버러대학교 연구진은 30일(현지시간) LLM 내부의 연산 회로(circuit)를 직접 분석해 모델이 논리적 오류를 범할 때 이를 감지하고 개입할 수 있는 '회로 기반 추론 검증(CRV)' 기술을 온라인 아카이브를 통해 발표했다.

기존의 사고 사슬(CoT) 검증 방식은 모델의 출력 결과만을 분석하는 '블랙박스' 접근이거나, 단순한 활성화 패턴을 추적하는 '그레이박스' 기법에 머물렀다. 이런 방식은 '왜' 계산이 실패했는지 원인을 설명하지 못한다는 한계가 있었다.

연구진은 이 문제를 해결하기 위해 모델 내부를 직접 해석할 수 있는 '화이트박스' 접근법을 도입했다.

CRV는 LLM 내부의 연산 과정을 '회로 단위(circuit-level)'로 시각화한 계산 그래프를 생성해, 올바른 추론 단계와 잘못된 단계의 구조적 차이를 비교한다. 이를 통해 정확한 추론의 '구조적 지문(structural fingerprint)'을 식별하고, 그 특성을 학습한 분류기를 이용해 오류 발생 여부를 예측한다.

연구진은 실험을 위해 '라마 3.1 8B 인스트럭트' 모델을 변형해 내부 층(layer)에 '트랜스코더(Transcoder)'라는 해석 가능한 모듈을 삽입했다. 이 트랜스코더는 모델의 중간 계산을 희소(sparse)하고 의미 있는 피처(feature)로 표현하도록 강제해, 연구자들이 모델의 사고 과정을 직접 관찰할 수 있게 했다.

이 과정을 통해 얻은 '속성 그래프(attribution graph)'는 소프트웨어 디버깅 시 실행 추적(execution trace)을 보는 것과 비슷하다. CRV는 이 그래프를 분석해 오류의 원인이 된 회로를 찾아낼 수 있으며, 직접 개입해 모델의 추론을 수정할 수도 있다.

한 사례에서는 CRV가 모델의 '곱셈 회로'가 잘못 활성화해 수학 문제를 풀다 연산 순서를 잘못 적용한 것을 포착했다. 연구진이 이 회로를 억제하자, 모델은 올바른 계산 경로로 복귀해 문제를 정확히 해결했다.

전반적인 CRV 분석 결과, 추론 오류의 구조적 패턴은 과제 유형에 따라 다르게 나타났다. 논리 연산, 산술 계산, 수학 문제 등 서로 다른 영역에서는 각기 다른 회로 구조가 활성화되며, 한 영역에서 학습된 오류 탐지기가 다른 영역에서는 작동하지 않았다. 이는 "LLM이 과제별로 서로 다른 내부 알고리즘(회로)을 학습한다"라는 점을 실제로 보여준 셈이다.

연구진은 CRV를 통해 단순한 오류 탐지 단계를 넘어, 모델의 추론 실패를 '원인-결과' 수준에서 해석하고 교정할 수 있는 길을 열었다고 평가했다. 이는 AI 모델의 신뢰성 확보가 핵심 과제인 산업과 공공 분야에서 큰 의미가 있다.

또 이번 연구는 'AI 디버깅'으로 불릴만한 새로운 연구 방향을 제시한다. CRV와 같은 도구가 상용화되면, 기업과 개발자는 모델의 오류 원인을 빠르게 파악해 부분적 미세조정이나 직접 수정을 통해 문제를 해결할 수 있게 된다는 설명이다.

연구진은 "모델의 계산 과정을 면밀히 분석함으로써 단순한 오류 탐지에서 벗어나 LLM 추론에 대한 더욱 심층적이고 인과적인 이해로 나아갈 수 있음을 보여준다"라고 밝혔다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>