Dify v1.1.0 Новый интеллектуальный фильтр "Метаданные" для базы знаний

Новости ИИОпубликовано 5 месяцев назад Круг обмена ИИ

В эпоху информационного взрыва быстрый и точный поиск ключевой информации в массивах данных стал основной задачей управления знаниями на предприятии и в личном кабинете. Недавно команда разработчиков Dify выпустила версию 1.1.0 и инновационно запустила "метаданные" в качестве ядра функции фильтра знаний. Это обновление похоже на установку интеллектуальной навигационной системы для базы знаний, которая может значительно повысить эффективность и точность поиска данных, а также обеспечить пользователям более плавный и эффективный доступ к информации.

Раньше, сталкиваясь с огромной базой знаний, пользователи часто были похожи на поиск иголки в стоге сена, что затрудняло быстрое нахождение нужной им информации. Внедрение фильтрации метаданных изменило эту ситуацию. Метаданные, вкратце, - это "данные о данных". Они добавляют к исходным данным дополнительные описательные теги и атрибуты, такие как создатель документа, дата создания, ключевые слова и т. д. С помощью этой структурированной информации пользователи могут быстро найти нужную им информацию. С помощью этой структурированной информации пользователи могут задать определенные условия фильтрации в соответствии со своими потребностями, чтобы быстро находить нужный контент.

Как фильтрация метаданных может расширить возможности приложений RAG?

Для зависимостей RAG Фильтрация метаданных имеет особое значение для применения технологии Retrieval-Augmented Generation (RAG). Она не только повышает точность поиска информации в приложениях RAG, но и играет ключевую роль в обеспечении безопасности данных и контроле доступа. Представьте себе корпоративный сценарий, в котором разным пользователям может потребоваться доступ к информации с разными уровнями разрешений. С помощью фильтрации метаданных администраторы могут легко управлять разрешениями на гранулярном уровне, гарантируя, что конфиденциальная информация будет доступна только авторизованным пользователям.

Кроме того, фильтрация метаданных оптимизирует производительность поиска и экономит вычислительные ресурсы. Благодаря заранее заданным тегам метаданных система может быстрее находить нужные документы и сокращать количество неэффективных поисков, повышая тем самым общую эффективность. Такая возможность настройки, несомненно, является важным инструментом повышения эффективности для предприятий с массивными базами знаний.

Следующая диаграмма наглядно демонстрирует преимущества фильтрации метаданных для контроля доступа. Задавая такие условия для метаданных, как уровень конфиденциальности, автор загрузки и дата обновления, система может точно контролировать права доступа различных пользователей к определенной информации, например, к дорожным картам RAG 2.0.

В двух словах, фильтрация метаданных - это интеллектуальный хранитель знаний, который обеспечивает более разумный, безопасный и эффективный поиск информации путем добавления контекстных атрибутов и контроля доступа к данным. Особенно в системах RAG важность фильтрации метаданных возрастает, когда важны и конфиденциальность, и актуальность знаний.

Как применяется фильтрация метаданных в Dify?

существовать Dify В версии 1.1.0 пользователи могут легко добавлять и управлять метаданными для документов в базе знаний и настраивать правила фильтрации метаданных для более точного поиска знаний.

Шаг 1: Добавление метаданных к документам базы знаний

В интерфейсе управления базой знаний Dify пользователи могут добавлять пользовательские метаданные для каждого документа. Система автоматически генерирует некоторые метаданные по умолчанию при создании документа, такие как имя файла, загрузчик и дата загрузки, и вы можете вручную добавлять новые поля метаданных и настраивать имена полей и типы данных по мере необходимости. Кроме того, пользователи могут вручную добавлять новые поля метаданных и настраивать имена полей и типы данных по мере необходимости. dify поддерживает пакетное редактирование и изменение метаданных документов, что облегчает пользователям быстрое управление и обновление баз знаний. Такой способ "маркировки" документов закладывает основу для последующего более точного поиска и управления.

Шаг 2: Настройте фильтрацию метаданных в приложении

Dify v1.1.0 добавляет раздел "Контекст" в Chatbot, а также Chatflow и Рабочий процесс Портал настройки фильтрации метаданных предусмотрен во всех узлах поиска знаний. Пользователи могут выбрать автоматический или ручной режим фильтрации в зависимости от своих потребностей. В автоматическом режиме система интеллектуально анализирует запросы пользователей и автоматически извлекает и генерирует условия фильтрации. Ручной режим позволяет пользователям настраивать условия фильтрации на основе типов полей метаданных (строковые, числовые, временные) и гибко устанавливать связь "И" или "ИЛИ" между несколькими условиями.

Три основных типа метаданных и сценарии их применения

В настоящее время Dify v1.1.0 поддерживает три типа метаданных - строковые, числовые и временные - для удовлетворения потребностей управления знаниями в различных сценариях.

Метаданные строк: повышение релевантности поискового контекста
Например, когда пользователь ищет "отчет о проекте", система может отдать предпочтение документам с такими тегами метаданных, как "Маркетинг" или "R&D", отсеяв таким образом большое количество нерелевантной информации и повысив точность результатов поиска. Это позволяет отфильтровать большое количество нерелевантной информации и повысить точность результатов поиска.
Числовые метаданные: расширенный контроль доступа
Управление доступом на основе уровней разрешений может осуществляться с помощью числовых метаданных. Например, только пользователи с определенными правами могут получать документы с уровнем конфиденциальности выше установленного порога, что обеспечивает безопасность данных и соответствие нормативным требованиям.
Временные метаданные: эффективное управление версиями документов
Временные метаданные помогают пользователям различать старые и новые версии документа. После обновления и повторной загрузки документа пользователи могут быстро получить последнюю версию с помощью временной фильтрации. Кроме того, в сочетании с информацией о загрузчике временные метаданные позволяют пользователям сравнивать и анализировать различные исторические версии одного и того же документа, чтобы обеспечить последовательность в обработке документов.

В целом, функция фильтрации метаданных, представленная в Dify v1.1.0, является важным усовершенствованием существующего решения для управления базами знаний. Она не только повышает эффективность и точность поиска информации, но и обеспечивает более надежную поддержку безопасности данных и контроля доступа. Dify v1.1.0 - это достойное внимания обновление для предприятий и разработчиков, которые хотят создавать интеллектуальные приложения RAG. Чтобы узнать больше подробностей, мы рекомендуем ознакомиться с официальной базой знаний Dify и лично убедиться в удобстве и эффективности фильтрации метаданных.