KAIST, '트랜스포머+맘바' 차세대 음원 분리 기술… 첫 출전 우승

[이한영 기자] 복잡하게 얽힌 소리의 흐름을 인공지능이 사람처럼 이해하고 구분하는 시대가 성큼 다가왔다.

KAIST가 세계 최고 권위의 음향 인공지능 기술 대회에서 첫 출전 만에 우승을 거두며, 음향 AI 기술의 새로운 기준을 제시했다.

여러 소리가 혼합된 음향 장면의 예

전기및전자공학부 최정우 교수 연구팀이 'IEEE DCASE 챌린지 2025'에서 '공간 의미 기반 음향 장면 분할(Spatial Semantic Segmentation of Sound Scenes)' 부문 세계 1위를 차지했다.

이대회는 전 세계 86개 팀이 참가해 6개 기술 분야에서 실력을 겨뤘으며, KAIST는 해당 분야에 처음 참가했음에도 불구하고 압도적인 기술력으로 정상에 올렀다.

왼쪽부터)권영후 석박사통합과정, 김도환 석사과정, 최정우 교수, 이동헌 박사

최 교수 연구팀은 이동헌 박사, 권영후 석박통합과정생, 김도환 석사과정생으로 구성됐으며, 참여 분야는 다양한 음원이 혼합된 다채널 음향 신호를 해석해 각 소리를 공간·의미 단위로 분리하고 18종으로 분류해야 하는 고난도 분야였다.

이번에 개발된 인공지능 모델은 기존의 딥러닝 구조를 뛰어넘는 혁신적 방식을 적용했다.

혼합 음원으로부터 분리된 음원들의 시간-주파수 패턴

이동헌 박사는 음원 분리에서 세계적 성능을 자랑하는 트랜스포머(Transformer) 기반에 맘바(Mamba) 아키텍처를 접목한 독창적인 프레임워크를 설계했으며, 권영후 연구원은 AI가 1차로 분리한 음원을 다시 한번 구조적으로 해석하는 '단계적 추론 알고리즘'을 도입해 정밀도를 극대화했다.

이 AI 모델은 사람이 여러 소리를 들을 때, 리듬, 방향, 소리의 질감을 기반으로 분리해 인지하는 방식에서 착안해 개발된 것으로, 인간 청각의 구조적 작동을 인공지능 알고리즘에 그대로 반영한 것이 특징이다.

연구진이 개발한 음향의 분리 및 분류 AI 구조

이 기술은 평가 기준인 '음원의 신호대 왜곡비 향상도(CA-SDRi)'에서 참가팀 중 유일하게 두 자릿수 성능(11dB)을 기록하며, 분리 정확도와 음질 복원 수준에서 모두 최고치를 기록했다. 이는 기존 오디오 대비 얼마나 더 선명하고 왜곡 없이 소리를 분리해 낼 수 있는지를 나타내는 척도로, 숫자가 높을수록 기술의 정교함이 입증된다.

최정우 교수는 "우리 연구팀은 지난 3년간 음향 AI 분야에서 독자적 기술 개발에 매진해 왔으며, 이번 수상을 통해 그 결과가 국제적으로 인정받아 매우 뜻깊다"며 "타 학회 일정과 기말고사로 연구시간이 매우 제한적이었지만, 집중도 높은 협업을 통해 최고의 성과를 낸 팀원들이 자랑스럽다"고 밝혔다.

이어 "이번 기술은 AR·VR 콘텐츠의 공간 음향 편집뿐 아니라, 드론의 이상음 탐지, 공장 설비의 누설 감지, 국경 감시와 같은 국방 분야 등 다양한 산업 현장에서도 확장 활용될 수 있는 잠재력을 가지고 있다"고 설명했다.

'IEEE DCASE 챌린지'는 세계 음향 AI 기술을 대표하는 국제 경연대회로, 2013년 첫 개최 이후 매년 전 세계 연구기관·대학·기업의 첨단 기술이 총출동하는 권위 있는 무대다. 2025년 대회는 4월 1일부터 온라인으로 진행됐으며, 6월 15일 AI 모델 제출을 마감했고, 6월 30일 결과가 발표됐다.

KAIST 연구팀은 오는 10월, 스페인 바르셀로나에서 열리는 DCASE 국제 워크숍에서 이번 기술과 알고리즘의 세부 성과를 발표할 예정이다.

이번 연구는 교육과학기술부의 재원으로 한국연구재단 중견연구자지원사업, STEAM 융합연구사업, 방위사업청·국방과학연구소의 미래국방연구센터 지원을 받아 수행됐다.

KAIST는 해당 기술을 고도화해 국방·산업·문화 전반에서 활용할 수 있는 음향 AI 플랫폼으로 발전시킨다는 계획이다. /대전=이한영기자

<저작권자 Copyright ⓒ 충청일보 무단전재 및 재배포 금지>