Dify Компания Dify помогает разработчикам быстро воплощать свои идеи в области искусственного интеллекта, будь то проверка прототипов продуктов или создание инструментов для повышения производительности. Рабочий процесс Все лучшие варианты.В последней версии v0.10.0 мы представили долгожданную функцию загрузки файлов, которая позволяет Workflow работать с документами и аудио/видео в различных форматах, что еще больше расширяет границы разработки приложений с искусственным интеллектом.

Эта функция особенно подходит для следующих сценариев.

• Вопросы и ответы по документации: Отвечайте на вопросы, опираясь на загруженные документы с достоверными источниками.
• Краткое содержание доклада: Быстрое выделение основных моментов из объемных документов для создания резюме.
• Обработка формы: Быстрое извлечение и обработка определенного содержимого различных документов или электронных таблиц.

Более того, функция загрузки файлов открывает путь для мультимодальных приложений ИИ.Теперь разработчики могут легко создавать сложные рабочие процессы, которые понимают и обрабатывают изображения, аудио и видео, значительно повышая функциональность и удобство работы с приложениями.

Легко начать работу с функцией загрузки файлов

1. Включите прямую загрузку файлов

Включить загрузку файлов очень просто: достаточно включить переключатель загрузки файлов в списке функций (по умолчанию это системная переменная). sys.files ). Пользователи могут загружать файлы непосредственно через диалоговое окно, при этом последний загруженный файл будет автоматически перезаписывать предыдущий. Если необходимо гибкое управление контекстом, разработчики могут включить функцию памяти.

2. Создание пользовательских переменных

Другой способ - создать пользовательские переменные в узле запуска для поддержки загрузки одного или нескольких файлов. После настройки пользовательский интерфейс будет отображать форму загрузки файлов, а последующие диалоги и обработка рабочего процесса будут всегда вращаться вокруг загруженных файлов.

После загрузки файла он также должен быть предварительно обработан в соответствии с типом файла, чтобы LLM мог эффективно понять и проанализировать содержимое. Файлы типа документов (например, TXT, PDF, HTML и т. д.) требуют извлечения текста в Workflow с помощью узла Document Extractor, который преобразует их в строковые переменные, доступные для LLM. Аудио- и видеофайлы необходимо кодировать с помощью дополнительных инструментов, таких как преобразование аудио в текст или извлечение ключевых кадров из видео. (Стоит отметить, что недавно выпущенная модель OpenAI "gpt-40-audio-preview" поддерживает прямую обработку аудио для умозаключений и диалогов, которая будет адаптирована в более поздней итерации релиза).

В этом обновлении мы не только добавили новый узел Document Extractor и узел List Manipulation для извлечения и фильтрации файлов соответственно, но и улучшили большинство узлов Workflow, подробнее см. в справке:

https://docs.dify.ai/zh-hans/guides/workflow/file-upload

Быстрое создание подкаста с искусственным интеллектом с помощью загрузки файлов

Недавно запущенный компанией Google инструмент искусственного интеллекта NotebookLM привлек большое внимание благодаря своей новой функции "аудио". Он может быстро анализировать длинные материалы, извлекать ключевую информацию и генерировать разговорные аудиоконспекты, похожие на подкасты. Это не только экономит пользователям время на чтение, но и облегчает понимание сути контента.

Далее мы покажем вам, как можно использовать функцию загрузки файлов и связанные с ней узлы для превращения документов в подкасты разговорного ИИ с помощью Workflow, что позволит сделать нечто подобное NotebookLM Функция

Конфигурация параметров стартового узла

Создайте новый поток чата и в начальном узле настройте загрузку файлов и определите ключевые переменные (например, тон, хозяин, гости и язык).

• ** файл : **Выберите тип поля "Один файл", чтобы разрешить загрузку файлов типа "документ".
• ** тон :: Позволяет пользователям настраивать стиль общения подкаста AI с помощью "выпадающих опций", включая Casaul, Formal, Humorous и так далее.
• ** имя_хоста : **Выберите тип "Текст" для ввода имени координатора.
• ** имя_гостя :** Выберите тип "Текст" для ввода имени гостя.
• ** язык :: **Используйте тип "выпадающий вариант", предлагая варианты китайского, английского, японского и т. д., чтобы пользователям было проще выбрать язык подкаста.

Генерация сценариев подкастов с помощью File Extractor с узлами LLM

После успешной загрузки файла экстрактор документов извлекает текст из переменной ***file ***, преобразуя неструктурированные данные в пригодный для обработки текстовый контент. Далее извлеченный контент обрабатывается тремя узлами LLM для постепенного создания полного сценария подкаста.

1. LLM Анализ входных данных

Извлеченный текст анализируется для выделения ключевой информации, необходимой для подкаста, включая важные темы, сюжетные моменты, данные и т. д., закладывая основу для последующего создания контента подкаста.

2. Узел генерации сценариев LLM (создание диалога)

На основе извлеченного контента и заранее заданных переменных (таких как тон, язык, имя_хозяина и имя_гостя) создаются естественные и персонализированные сценарии диалогов подкаста, чтобы обеспечить соответствие взаимодействия хозяина и гостя установленным ролям и стилям.

3. Узел заключения LLM (Заключение)

Сформируйте резюме подкаста, в котором перечислены ключевые моменты диалога между ведущим и гостем, чтобы резюме оставило неизгладимое впечатление у слушателя и дало пищу для размышлений или предложения к действию.

После обработки узлов LLM мы получаем диалог и резюме подкаста.

Объединение текстовых блоков с помощью узлов преобразования шаблонов

Узел преобразования шаблонов объединяет частичное содержимое, сгенерированное каждым узлом LLM, в полный результат и преобразует его в единый формат, пригодный для последующего использования инструментами.

• Вход: Получите текстовые фрагменты двух узлов LLM Craft Диалог и Заключение, используя переменные *** arg1*** и arg2 Сделайте цитату.
• Выход: объедините *** arg1*** (содержание диалога) и *** arg2*** (раздел резюме) для создания полного и последовательного сценария подкаста, который выводится в строковом формате для удобства обработки последующими инструментами.

Конфигурация и вывод аудиогенератора подкаста

После завершения объединения текста сценарий передает узел преобразования шаблона выход Переменная передается аудиогенератору подкаста, чтобы начать последний этап создания аудио.

Инструмент генерирует аудио подкаста из текстового сценария, а разработчики могут выбрать голоса ведущего и гостя (например, "Сплав" и "Шиммер"), чтобы определить, как будут звучать персонажи. Генератор подкастов преобразует полученный полный сценарий в аудиофайл и делает его доступным для скачивания.

Выполнив эти шаги, вы сможете легко освоить создание подкастов AI с помощью функции загрузки файлов. Мы также сделали шаблон этого приложения и разместили его на странице Explore, чтобы вы могли быстро приступить к работе и изучить дополнительные возможности.

Другие вещи, которые вам нужно знать

Функция загрузки изображений в автономном режиме

1. для приложения Chatflow:

В версии v0.10.0 мы расширили первоначальную функцию загрузки изображений до загрузки файлов, что позволило приложению обрабатывать больше форматов документов и аудио/видео файлов.

• Функция загрузки изображений была интегрирована в загрузку файлов. Когда функция загрузки файлов включена, вы можете ссылаться на файлы, такие как изображения, загруженные в окно чата, выбрав ***sys.file *** через визуальный селектор переменных в узле LLM.

• Мы провели обработку совместимости старых версий приложения, чтобы гарантировать, что приложения, которые использовали функцию загрузки изображений в предыдущих версиях, останутся стабильными.

2. для приложений Workflow:

• Мы рекомендуем настроить переменную типа файла в начальном узле для загрузки файлов, чтобы она могла обрабатывать больше типов файлов.

• Обратите внимание: мы откажемся от старой функции загрузки изображений и системных переменных в будущем выпуске! sys.file .

Дополнительные сведения см. в файле справки:

https://docs.dify.ai/zh-hans/guides/workflow/bulletin