알리바바, MoE 기반 오픈소스 영상생성 모델 'Wan2.2' 공개

[디지털데일리 권하영기자] 알리바바는 업계 최초로 MoE(Mixture-of-Experts) 아키텍처를 적용한 오픈소스 대규모 영상 생성 모델 시리즈 'Wan2.2'를 공개했다고 30일 밝혔다. 이 모델은 크리에이터와 개발자들이 클릭 한 번으로 고품질 시네마틱 영상을 손쉽게 제작할 수 있도록 지원한다.

이번 시리즈는 텍스트 기반의 'Wan2.2-T2V-A14B', 이미지 기반의 'Wan2.2-I2V-A14B', 텍스트·이미지 통합 하이브리드 모델 'Wan2.2-TI2V-5B' 등 총 세 가지 모델로 구성됐다. 다양한 영상 생성 입력 방식을 단일 프레임워크에 통합하도록 설계된 것이 특징이다.

Wan2.2-T2V-A14B와 Wan2.2-I2V-A14B는 MoE 아키텍처와 고도로 선별된 미적 데이터셋을 바탕으로 훈련돼 조명, 시간대, 색조, 구도, 초점 거리, 카메라 앵글 등 다양한 요소를 정밀하게 제어한다. 인물의 표정 변화, 손 제스처, 스포츠 동작 등 복잡한 움직임 묘사에도 강점을 보이며, 물리 법칙을 반영한 현실적인 표현력과 고도화된 지시 이해력을 바탕으로 사실적인 영상 생성이 가능하다.

긴 토큰으로 인한 영상 생성 과정의 높은 연산 소모 부담을 줄이기 위해 두 모델은 확산 모델의 노이즈 제거 과정에 두 개의 솔루션을 도입했다. 전체 장면 구성을 담당하는 '고노이즈 엑스퍼트(High-Noise Expert)'와 세밀한 디테일을 정교하게 다듬는 '저노이즈 엑스퍼트(Low-Noise Expert)'가 포함된다. 두 모델 모두 총 270억개 파라미터 중 매 스텝에서 140억개만 활성화되며, 연산 소모를 최대 50%까지 줄여준다.

Wan2.2는 시네마틱 프롬프트 시스템을 통해 조명, 구도, 색감 등의 미적 요소를 세분화해 조절할 수 있도록 설계됐다. 이를 통해 사용자의 시각적 의도를 보다 정확하게 반영한 결과물을 생성할 수 있다. 기존 Wan2.1 대비 이미지 데이터는 65.6%, 영상 데이터는 83.2% 이상 확대된 학습 데이터셋을 활용해 복잡한 장면 및 창의적 표현력에서도 향상된 성능을 보인다.

하이브리드 모델인 Wan2.2-TI2V-5B는 고압축 3D VAE 구조를 활용해 시간 및 공간 축을 각각 4x16x16 비율로 압축, 전체 압축률 64배를 달성했다. 이를 통해 일반 소비자용 GPU에서도 수 분 이내에 5초 분량의 720p 영상을 생성할 수 있으며, 높은 처리 효율성과 확장성을 제공한다.

현재 Wan 2.2 모델은 허깅페이스(Hugging Face), 깃허브(GitHub), 알리바바 클라우드 오픈소스 커뮤니티 모델스코프(ModelScope)에서 무료로 다운로드할 수 있다. 알리바바는 지난 2월 Wan2.1 시리즈 4가지 모델을, 5월에는 영상 생성·편집 통합 모델 Wan2.1-VACE를 각각 오픈소스로 공개한 바 있다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -