Story-Flicks: ввод тем для автоматической генерации видеороликов с короткими детскими рассказами

Общее введение

Story-Flicks - это инструмент искусственного интеллекта с открытым исходным кодом, призванный помочь пользователям быстро создавать сюжетные видеоролики в формате HD. Пользователям нужно только ввести тему сюжета, система будет генерировать сюжетный контент через большую языковую модель, и в сочетании с генерируемыми ИИ изображениями, аудио и субтитрами, на выходе получится полноценное видео. Бэкэнд проекта основан на Python и фреймворке FastAPI, а фронтэнд построен с использованием React, Ant Design и Vite. Он поддерживает OpenAI, AliCloud, DeepSeek и других поставщиков модельных сервисов, а пользователи могут гибко выбирать модели генерации текста и изображений. Будь то создание детских историй, коротких анимаций или обучающих видео, Story-Flicks легко удовлетворит потребности разработчиков, создателей и преподавателей.

Список функций

• Создайте видео одним щелчком мыши: Введите тему сюжета и автоматически создайте видео, содержащее изображения, текст, аудио и субтитры.
• Поддержка нескольких моделей: Совместимость с OpenAI, Aliyun, DeepSeek, Ollama и SiliconFlow модели текста и изображения.
• Настройка сегментов: Пользователь может указать количество параграфов истории, и каждый параграф генерирует соответствующее изображение.
• многоязычный вывод: Поддержка генерации текста и аудио на нескольких языках, адаптированных для пользователей со всего мира.
• развертывание с открытым исходным кодом: Обеспечивает как ручную установку, так и развертывание Docker для простоты локальной работы.
• интуитивно понятный интерфейс: Внешняя страница проста в использовании и поддерживает выбор параметров и предварительный просмотр видео.

Использование помощи

Процесс установки

Story-Flicks предлагает два способа установки: ручная установка и развертывание Docker. Ниже приведены подробные шаги, которые позволят пользователям без проблем создать среду.

1. ручная установка

Шаг 1: Загрузите проект
Клонируйте проект локально, введя в терминале следующую команду:

git clone https://github.com/alecm20/story-flicks.git

Шаг 2: Настройка информации о модели
Перейдите в каталог бэкенда и скопируйте файл конфигурации окружения:

cd backend
cp .env.example .env

показать (билет) .env файл для настройки модели генерации текста и изображений. Пример:

text_provider="openai"           # 文本生成服务商，可选 openai、aliyun、deepseek 等
image_provider="aliyun"          # 图像生成服务商，可选 openai、aliyun 等
openai_api_key="你的OpenAI密钥"   # OpenAI 的 API 密钥
aliyun_api_key="你的阿里云密钥"   # 阿里云的 API 密钥
text_llm_model="gpt-4o"          # 文本模型，如 gpt-4o
image_llm_model="flux-dev"       # 图像模型，如 flux-dev

• Если вы выбрали OpenAI, рекомендуется использовать gpt-4o как текстовая модель.dall-e-3 в качестве модели изображения.
• Если вы выбрали AliCloud, рекомендуется использовать qwen-plus возможно qwen-max(текстовое моделирование) и flux-dev(имиджевая модель, в настоящее время доступна для бесплатной пробной версии, подробности на сайтеДокументация Алиюн).
• Сохраните файл после завершения настройки.

Шаг 3: Запустите бэкэнд
Перейдите в каталог backend в терминале, создайте виртуальное окружение и установите зависимости:

cd backend
conda create -n story-flicks python=3.10  # 创建 Python 3.10 环境
conda activate story-flicks              # 激活环境
pip install -r requirements.txt          # 安装依赖
uvicorn main:app --reload                # 启动后端服务

После успешного запуска на экране терминала появится сообщение:

INFO:     Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
INFO:     Application startup complete.

Это означает, что внутренняя служба была запущена http://127.0.0.1:8000.

Шаг 4: Запуск передней части
Перейдите в каталог front-end в новом терминале, установите зависимости и запустите его:

cd frontend
npm install          # 安装前端依赖
npm run dev          # 启动前端服务

После успешного запуска на экране терминала появится сообщение:

VITE v6.0.7  ready in 199 ms
➜  Local:   http://localhost:5173/

Доступ в браузере http://localhost:5173/Вы видите внешний интерфейс.

2. Развертывание Docker

Шаг 1: Подготовьте среду
Убедитесь, что Docker и Docker Compose установлены локально; если нет, загрузите их с официального сайта.

Шаг 2: Начало проекта
Запустите его в корневом каталоге проекта:

docker-compose up --build

Docker автоматически создает и запускает внешний и внутренний сервисы. Когда все будет готово, зайдите на страницу http://localhost:5173/ Просмотрите внешнюю страницу.

Использование

После установки пользователи могут генерировать сюжетные видеоролики через внешний интерфейс. Ниже приведен конкретный порядок действий:

1. доступ к внешнему интерфейсу

Введите в браузере http://localhost:5173/Откроется главная страница Story-Flicks.

2. Установка параметров генерации

Интерфейс предоставляет следующие возможности:

• Поставщик модели генерации текста: Выбор openai, иaliyun и т.д.
• Генерация изображений Поставщик моделей: Выбор openai, иaliyun и т.д.
• текстовая модель: Введите название модели, например. gpt-4o возможно qwen-plus.
• моделирование изображений: Введите название модели, например. flux-dev возможно dall-e-3.
• Язык видео: Выберите язык, например, китайский или английский.
• Тип голоса: Выберите стиль звука, например, мужской или женский.
• Темы для рассказов: Введите тему, например, "Приключения кролика и лисы".
• Количество сюжетных абзацев: Введите число (например, 3), каждый сегмент которого соответствует одному изображению.

3. создание видео

После заполнения параметров нажмите кнопку "Генерировать". Система сгенерирует видео в соответствии с заданными настройками. Время генерации зависит от количества параграфов, чем больше параграфов, тем больше времени это займет. По окончании работы видео будет отображено на странице, поддерживается воспроизведение и загрузка.

предостережение

• Если генерация не удалась, проверьте .env файл для правильного ключа API или проверьте, работает ли сетевое соединение.
• пользоваться Оллама При настройке ollama_api_key="ollama"Рекомендуем qwen2.5:14b или большие модели, маленькие модели могут работать не так хорошо.
• Модель изображений в SiliconFlow пока только тестируется. black-forest-labs/FLUX.1-devУбедитесь, что вы выбрали совместимую модель.

Функциональное управление

Создайте полное видео одним щелчком мыши

В интерфейсе введите "Сказка о волке и кролике", задайте 3 абзаца и нажмите "Сгенерировать". Через несколько минут вы получите видеоролик с 3 картинками, закадровым голосом и субтитрами. Например, в официальном демо-ролике показаны истории "Кролик и лиса" и "Волк и кролик".

Поддержка нескольких языков

Хотите создать видео на английском языке? Установите для параметра "Язык видео" значение "Английский", и система сгенерирует английский текст, аудио и субтитры. Переключиться на другие языки так же просто.

Пользовательская сегментация

Нужен более длинный рассказ? Установите количество параграфов на 5 или более. Каждый абзац создает новое изображение, и история расширяется соответствующим образом.

Выполнив эти действия, пользователи смогут легко установить и использовать Story-Flicks для быстрого создания видеороликов в формате HD. Будь то личные развлечения или образовательные цели, этот инструмент поможет вам проявить творческий подход!