Make AI videos with audio of anyone. Free & offline

Краткий Обзор

В этом видео рассматривается Hunyuan Video Avatar от Tencent, бесплатный инструмент с открытым исходным кодом для создания реалистичных видеороликов с анимированными персонажами на основе аудиовхода. Обсуждаются онлайн и офлайн способы использования, а также процесс локальной установки.

• Hunyuan Video Avatar позволяет создавать реалистичные видео с анимированными персонажами, синхронизированными с аудио.
• Инструмент можно использовать онлайн или установить локально на компьютер.
• Локальная установка требует определенных шагов, включая установку Git, Conda и PyTorch.

Hunyuan Video Avatar

Hunyuan Video Avatar от Tencent - это бесплатный инструмент с открытым исходным кодом, который позволяет создавать реалистичные видеоролики с анимированными персонажами, говорящими любой заданный текст. Он может обрабатывать различные эмоции, пение и стили анимации. В отличие от Google V3, Hunyuan Video Avatar дает полный контроль над звуком, принимая аудиовход.

Официальные Демо

В видео демонстрируются официальные примеры использования Hunyuan Video Avatar, показывающие его способность анимировать не только одного персонажа, но и целые сцены с несколькими персонажами. Инструмент анимирует все тело персонажа, а не только лицо, и может работать с разными художественными стилями.

Как Использовать Онлайн

Для использования Hunyuan Video Avatar онлайн необходимо зарегистрироваться на платформе. Пользователи могут вводить текст для преобразования в речь, выбирая различные голоса, или загружать собственные аудиоклипы. Также можно загружать фотографии персонажей для анимации. Онлайн-платформа имеет ограничение: нельзя вводить подсказки для управления генерацией, в отличие от офлайн-версии.

Персональные Демо

В видео демонстрируется работа Hunyuan Video Avatar с различными примерами: сгенерированное изображение Дженсена Хуанга с его речью, человек, выступающий на TED, говорящий по-испански, и анимированные эмоции (злость, смех, грусть). Также показана анимация животного и пение. Инструмент хорошо справляется с синхронизацией губ и анимацией тела, но есть недостатки в обработке сложных сцен с людьми на заднем плане.

Veo3 и Альтернативы

Hunyuan Video Avatar предпочтительнее Google V3 для создания видео с говорящими людьми, так как позволяет контролировать голос персонажа, загружая любое аудио. В отличие от V3, где голос генерируется на основе подсказки, Hunyuan Video Avatar позволяет использовать существующие генераторы голосовых клонов и текстовых спецэффектов. Также Hunyuan Video Avatar анимирует любую сцену, даже в полный рост, в отличие от других инструментов, которые ограничиваются только головой или верхней частью тела.

Vidu AI Video Generator

В видео упоминается VidU, видеогенератор на базе искусственного интеллекта, который предлагает различные функции, такие как преобразование текста в видео и изображения в видео. VidU позволяет пользователям добавлять собственные справочные изображения в общедоступную библиотеку для создания видеороликов с определенными персонажами или объектами.

Как Установить HunyuanVideo Avatar Локально

Для локальной установки Hunyuan Video Avatar рекомендуется использовать графический процессор с 24 ГБ видеопамяти, но теперь поддерживаются графические процессоры с 10 ГБ видеопамяти с включенным TC. Для упрощения установки можно использовать приложение Pinocchio с установщиком Want 12GP в один клик. Однако в видео рассматривается ручная установка, которая обеспечивает большую настраиваемость.

Git

Первым шагом локальной установки является клонирование репозитория Hunyuan Video Avatar, для чего требуется установленный Git. Если Git не установлен, необходимо загрузить и установить последнюю версию для используемой операционной системы.

Установка Продолжается

После установки Git необходимо выбрать место на компьютере для установки Hunyuan Video Avatar и клонировать репозиторий в выбранную папку. Затем необходимо сменить каталог на новую папку W2GP.

Conda

Следующим шагом является создание виртуальной среды под названием W2GP с использованием Python 3.10.9. Для этого требуется установка Conda (Miniconda). После установки Miniconda необходимо добавить Anaconda в системную переменную PATH.

Установка Продолжается

После установки Conda необходимо создать виртуальную среду W2GP и активировать ее. Затем необходимо установить PyTorch, для чего требуется CUDA 12.4 или более поздней версии. После установки PyTorch необходимо установить все зависимости, перечисленные в файле requirements.ext.

Как Использовать HunyuanVideo Avatar Локально

После завершения установки необходимо активировать виртуальную среду W2GP и запустить скрипт для преобразования изображения в видео. После этого в браузере откроется интерфейс 1GP, который позволяет использовать Hunyuan Video Avatar локально. В интерфейсе можно настроить различные параметры, такие как производительность, профиль, разрешение и количество шагов вывода.