Dify v0.15.0: Новая стратегия поиска по схеме "родитель-ребенок" - более точный и всеобъемлющий поиск знаний

Сегодня мы рады представить вам Dify В версии v0.15.0 появилась новая функция "Поиск по родителям и детям". Это передовая техника, реализованная в системе Retrieval Augmented Generation (RAG), которая направлена на дальнейшее улучшение получения информации и контекстного понимания.Благодаря этой возможности Dify может предоставлять более полную и контекстуальную информацию для создания искусственного интеллекта, что значительно повышает качество и точность ответов на заявки LLM.

Дилемма контекста и точности

При использовании системы поиска по базам знаний пользователи часто сталкиваются с неудобной дилеммой: результаты поиска либо слишком фрагментированы, что приводит к отсутствию у LLM достаточного контекста для понимания информации, либо слишком широки, что приводит к информационной перегрузке и снижению точности. Это затрудняет эффективный поиск и использование необходимой информации для LLM.

В этом контексте правильный размер куска имеет решающее значение для приложений искусственного интеллекта, чтобы генерировать точные и исчерпывающие ответы. В результате Dify предлагает новую функцию поиска по принципу "родитель-ребенок", которая обеспечивает идеальный баланс между точностью и контекстом, значительно повышая общую производительность и надежность процесса поиска знаний.

Поиск между родителями и детьми: баланс между точностью и контекстом

Поиск по родителям и детям осуществляется с помощью двухуровневой структуры в виде данных для RAG Система предлагает более гибкий и эффективный способ поиска, обеспечивающий как точное соответствие, так и полную контекстную информацию. Основные механизмы включают:

1. Запрос на сопоставление субблоков

• Разбиение документов на более мелкие, целенаправленные единицы информации (например, на предложения) позволяет более точно подбирать информацию для запросов пользователей.
• Подблоки могут быстро предоставить предварительные результаты, наиболее соответствующие потребностям пользователя.

2. Родительские блоки обеспечивают контекст

• Более крупные части, содержащие совпадающие подблоки (например, параграфы, разделы или даже целые документы), рассматриваются как родительские блоки и становятся доступными для Большой языковой модели (LLM).
• Родительский блок предоставляет полную контекстную информацию для LLM и позволяет не упустить важные детали.

Такой иерархический подход к поиску обеспечивает точность результатов поиска при сохранении контекста. Например, в случае поддержки клиентов поиск по принципу "родитель-ребенок" может обеспечить более подробные и глобально контекстуализированные ответы за счет ссылок на подробную документацию по продукту, что повышает точность и информационную насыщенность результатов языковой модели с точки зрения формирования контента.

Общий поиск VS поиск по родителям и детям

Как показано на рисунке ниже, в одном и том же документе контекстная информация, предоставляемая с помощью поиска по схеме "родитель-ребенок", будет более полной и сможет поддерживать высокий уровень точности, что значительно превосходит традиционный однослойный общий поиск.

Как использовать поиск по родителям и детям

1. Источник данных:Выберите источник данных и импортируйте документы для поиска знаний.
2. измельчение

• Выберите общую стратегию кускования или стратегию кускования "родитель-ребенок" и задайте такие параметры, как размер куска, после чего вы сможете просмотреть результаты кускования.
• Если выбрана сортировка по принципу "родитель-ребенок", доступны два режима:
  • Режим абзаца: разбивает текст на абзацы на основе разделителей и максимальной длины фрагмента и рассматривает эти абзацы как родительские фрагменты. Идеально подходит для документов с четкими и относительно независимыми абзацами.
  • Режим целого документа: весь документ в качестве родительского блока, подходит для сценариев, требующих полного контекстного поиска.

Независимо от режима, дочерний блок будет дополнительно подразделяться на родительский. После завершения настройки метода индексирования и извлечения пользователь может редактировать как родительский, так и дочерний блок. Редактирование родительского блока может быть выполнено с возможностью регенерации дочернего блока или нет, в то время как редактирование дочернего блока не повлияет на содержимое родительского блока, но может быть использовано в качестве пользовательского тега для лучшего поиска соответствующего родительского блока. Для получения более подробной информации, пожалуйста, ознакомьтесь с 📖 файл справки.

Другие обновления: более интуитивное отображение блоков "родитель-ребенок

Будучи платформой с низким содержанием кода, Dify стремится к тому, чтобы пользователи без технического образования могли легко понять и использовать функцию поиска по родителям и детям. В этом обновлении мы внесли следующие улучшения в предварительный просмотр в формате chunked:

• Более четкая структура блоков:Каждый родительский блок показан как отдельный модуль, а дочерние блоки выделены на сером фоне и помечены номером блока.
• Удобная информация при наведении мыши:При наведении курсора мыши на подблок он выделяется синим цветом и отображает информацию о количестве слов.

• Получите предварительный просмотр теста:Родительский блок отображается в левой части окна предварительного просмотра, а все совпадающие дочерние блоки выделены синим цветом с соответствующими оценками, что позволяет пользователю видеть их с первого взгляда.

Благодаря этому обновлению функция поиска "родитель-ребенок" Dify обеспечивает более точные и всеобъемлющие результаты поиска в приложениях LLM, значительно повышая эффективность и точность получения информации, помогая предприятиям и разработчикам добиться более эффективного управления знаниями и создания ценностей в интеллектуальных рабочих процессах.