EMO: Создание высококачественного портретного видео на основе портретных изображений и звука человеческого голоса.

Общее введение

Yummy Portrait EMO - это высококачественный инструмент для создания портретного динамического видео, предоставленный Hundred Refine (Model Studio), крупной платформой для обслуживания моделей на AliCloud. Инструмент основан на портретных изображениях и аудиофайлах с человеческим голосом для создания реалистичного портретного динамического видео. Joyful Portrait EMO содержит две независимые модели: "Joyful Portrait EMO-detect" и "Joyful Portrait EMO", которые используются для обнаружения соответствия изображения персонажа и генерации видео с персонажем соответственно. Пользователи могут быстро генерировать высококачественные видеоролики с портретами персонажей, соответствующими спецификациям, с помощью простых вызовов API, которые подходят для различных сценариев применения, таких как виртуальные ведущие, цифровые люди и т. д.

Испытайте его бесплатно в приложении Tongyi. Официальная коммерциализация возможна через API-вызовы или самостоятельное развертывание на платформе Ali Bailian.

Список функций

• Определение соответствия изображения символов: Используйте модель "EMO-detect" для определения соответствия входного изображения спецификации.
• Генерация видеороликов с персонажами: Используя модель "EMO Portrait", на основе портретного изображения и вокального аудиофайла создается динамическое видео.
• Различные стили на выбор: Поддерживает широкий диапазон интенсивности стилей движения, таких как оживленный, умеренный и спокойный.
• Вызов API: Предоставляет разработчикам простой в использовании интерфейс API для интеграции.
• автономное развертывание: Поддерживает независимое от модели развертывание при высоких требованиях к параллельности.

Использование помощи

Установка и настройка

1. Открытая служба: Прежде всего, вам нужно открыть сервис Joyful Portrait EMO на платформе AliCloud и получить ключ API.
2. Получить ключ API: Войдите в свою учетную запись AliCloud и введите платформу сервиса больших моделей Hundred Refine, чтобы получить ключ API.

Этапы использования

1. Вызов модели обнаружения изображений::
   • Модель "EMO-detect" используется для определения соответствия входного портретного изображения спецификации.
   • Пример вызова API:

    import requests
   url = "https://api.aliyun.com/emo-detect"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {"image": "base64_encoded_image"}
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

2. Вызов модели генерации видео::
   • Используя модель "Yummy Portrait EMO", введите обнаруженные портретные изображения и вокальные аудиофайлы для создания видеоролика движения.
   • Пример вызова API:

    import requests
   url = "https://api.aliyun.com/emo"
   headers = {"Authorization": "Bearer YOUR_API_KEY"}
   data = {
   "image": "base64_encoded_image",
   "audio": "base64_encoded_audio",
   "style_level": "active"
   }
   response = requests.post(url, headers=headers, json=data)
   print(response.json())
   

автономное развертывание

1. Приобретение ресурсов: Приобретайте эксклюзивные ресурсы экземпляров на платформе AliCloud.
2. модель развертывания: Разверните модели "EMO-detect-deployment" и "EMO-deployment" соответственно.
3. вызвать модель развертывания::
   • Вызываем модель "EMO-detect-deployment" для обнаружения изображений.
   • Назовите модель "EMO-развертывание" для создания видео.

Тарифы и ограничения на потоки

предостережение

• Тарифы и ограничения на потоки: Оплата производится в зависимости от использования, конкретные тарифы указаны в официальной документации AliCloud.
• ограничение параллельности: В зависимости от приобретенного арифметического блока поддерживается разное количество одновременных задач.