Что входит в Wan 2.2
Wan 2.2 — вторая версия генеративной модели видео Alibaba Cloud, выложенная в открытый доступ. Код и ссылки на веса лежат в репозитории Wan2.2 в GitHub-организации Wan-Video, которая описывает себя как «Alibaba Cloud's Large-scale Generative Models». Лицензия Apache 2.0 разрешает использование в коммерческих проектах.
Под одним названием собраны пять чекпойнтов, и каждый решает свою задачу: один делает видео из текстового описания, другой оживляет фотографию, третий строит кадр по речи, четвёртый анимирует и заменяет персонажа. Скачивать весь набор не нужно — берут тот чекпойнт, который закрывает конкретную задачу.
| Модель | Что делает | Разрешение | Видеопамять |
|---|---|---|---|
| T2V-A14B | текст → видео | 480p и 720p | от 80 ГБ |
| I2V-A14B | изображение → видео | 480p и 720p | от 80 ГБ |
| TI2V-5B | текст и изображение → видео | 720p, 24 кадра/с | от 24 ГБ |
| S2V-14B | речь → видео | 480p и 720p | от 80 ГБ |
| Animate-14B | анимация и замена персонажа | 30 кадров/с | от 80 ГБ |
Разброс по требованиям в таблице важнее разброса по режимам. Четыре модели из пяти рассчитаны на ускорители с 80 ГБ памяти. TI2V-5B выбивается из ряда: ей хватает 24 ГБ, она выдаёт 720p при 24 кадрах в секунду и принимает на вход и текст, и изображение — то есть одна закрывает оба основных режима. Для домашнего запуска выбор сводится к ней.
Два чекпойнта из набора закрывают задачи, которых у большинства генераторов видео нет вовсе. S2V-14B строит видео по речи, то есть принимает на вход звуковую дорожку; в примерах разработчиков он выдаёт пятисекундный ролик 720p. Animate-14B анимирует и заменяет персонажа и работает с 30 кадрами в секунду. Оба требуют 80 ГБ видеопамяти, поэтому дома они остаются недоступны.