GraphReader: Интеллектуалы на основе графиков для улучшения обработки длинных текстов для больших языковых моделей

Графические экспертыОн похож на преподавателя, который умеет составлять карты мышления, превращая длинный текст в четкую сеть знаний, чтобы ИИ мог легко найти ключевые моменты, необходимые для ответа, как будто исследуя карту, эффективно преодолевая проблему "заблудиться" при работе с длинным текстом.

• Опубликовано: 2024.01.20
• Название работы: GraphReader: создание агента на основе графиков для расширения возможностей длинных контекстов больших языковых моделей
• Бумажный адрес: https://arxiv.org/abs/2406.14550

В этой статье описывается GraphReader, интеллектуальная система на основе графовых структур, разработанная для решения проблем, с которыми сталкиваются большие языковые модели (LLM) при обработке длинных текстов, и для успешного выполнения таких задач, как многоходовые викторины. Вот краткое содержание статьи:

I. Мотивация диссертации

С развитием технологий понимания и генерации естественного языка одним из основных ограничений, с которыми сталкиваются LLM, является ограничение размера контекстного окна и объема памяти, что не позволяет им эффективно обрабатывать большие объемы текстового ввода. Для решения этой проблемы исследователи применяют различные подходы, включая улучшение структуры модели, внедрение механизмов улучшения поиска и использование агентов для сложных рассуждений. Однако каждый из этих подходов имеет определенные недостатки, такие как увеличение затрат на обучение, игнорирование детальной информации или негибкие механизмы принятия решений.

II. Инновационные моменты работы

• цели: Построив графовые структуры и используя стратегию автономного исследования агента, GraphReader способен улавливать дальние зависимости в ограниченном контекстном окне, что позволяет эффективно обрабатывать объемные документы.
• инновационный центр::
  • Разделите длинный текст на отдельные фрагменты и выделите ключевые элементы и атомарные факты;
  • Используйте эти компоненты для построения графической структуры, отражающей взаимосвязи в тексте;
  • Интеллектуальное тело перемещается по графу и собирает необходимую информацию в соответствии с заданной функцией и пошаговым рациональным планом;
  • Весь процесс включает в себя ведение записей и размышления, чтобы обеспечить точность и полноту окончательного ответа.

III. Идеи диссертации

Работа GraphReader делится на три этапа:

• графическое построение: Документ делится на части, каждая из которых обобщается как атомарный факт, из которого извлекаются ключевые элементы для формирования узлов; узлы связаны друг с другом на основе общих ключевых элементов.
• графическое исследование: Интеллектуальное тело выбирает начальный узел в соответствии с рациональным планом и обходит всю структуру графа, проверяя соседние узлы; в процессе интеллектуальное тело записывает подтверждающие факты для последующего анализа.
  • Исследование атомарных фактов: поскольку невозможно включить в контекстное окно все блоки необработанного текста, связанные с узлом, агент использует стратегию "от грубого к тонкому", начиная с чтения атомарных фактов и постепенно исследуя необработанный текст. Все атомарные факты могут поместиться в контекстное окно, поэтому агент сначала группирует все атомарные факты, связанные с каждым узлом, по соответствующему текстовому блоку и помечает их соответствующими идентификаторами текстовых блоков, которые затем передаются агенту. Это позволяет агенту получить общее представление о каждом текстовом блоке, прочитав все группы атомарных фактов. В то же время агент использует вопросы, рациональные планы и заметки в блокноте, чтобы обдумать необходимые подсказки и определить, какие текстовые блоки могут содержать полезную информацию. Затем агенту даются две функции:
    • read_neighbor_node, агент выбирает соседний узел, который может быть полезен для ответа на вопрос, и снова вступает в процесс изучения атомарных фактов и текстовых блоков;
    • В конце концов, агент определяет, что ни один из соседних узлов не содержит полезной информации, и завершает исследование.
  • Исследуйте текстовые блоки: если очередь текстовых блоков не пуста, это означает, что агент определил несколько текстовых блоков, представляющих интерес. Затем GraphReader обходит очередь и читает каждый текстовый блок по очереди. Этот шаг очень важен, поскольку атомарные факты лишь обобщают ключевую информацию и дают краткие подсказки, в то время как конкретные детали лучше всего получить непосредственно из исходного текстового блока. По мере прочтения текстовых блоков агент обдумывает проблему и план, размышляя о том, что можно добавить к текущему блокноту. Все найденные подтверждающие факты будут занесены в блокнот. В зависимости от обновленного блокнота агент выберет одну из следующих четырех функций:
    • search_more, агент продолжит изучать текстовые блоки в очереди, если в них недостаточно подтверждающих фактов;
    • read_previous_chunk и 3) read_subsequent_chunk, из-за проблем с усечением, соседние текстовые фрагменты могут содержать релевантную и полезную информацию, и агент может вставить эти идентификаторы в очередь;
    • В конце, если собрано достаточно информации для ответа на вопрос, агент завершает исследование.
  • ИССЛЕДОВАНИЕ СОСЕДНИХ УЗЛОВ: Когда атомарные факты текущего узла и очередь текстовых блоков полностью обработаны, это означает, что данный узел был тщательно исследован и агенту необходимо посетить следующий узел. Учитывая проблему, рациональный план и содержимое блокнота, агент изучает все соседние узлы, то есть ключевые элементы, и выполняет одну из следующих двух функций:
    • read_chunk, если агент определяет, что определенные фрагменты текста достойны дальнейшего чтения, он дополняет аргумент функции идентификаторами фрагментов, т.е. read_chunk(List[ID]), и добавляет эти идентификаторы в очередь фрагментов.
    • stop_and_read_neighbor, вместо этого, если агент решит, что ни один фрагмент текста не стоит читать дальше, он закончит чтение текущего узла и начнет исследовать соседние узлы.
• аргументация в ответе: Собирайте информацию, полученную с помощью различных интеллектов, и используйте цепочку рассуждений для получения ответов на поставленные вопросы.

IV. Оценка эффективности

Экспериментируя с несколькими наборами данных из длинных контекстных бенчмарков, GraphReader демонстрирует значительно более высокую производительность, чем другие методы. Например, на наборе данных HotpotQA GraphReader достигает EM 55,01 TP3T и F1 70,01 TP3T, превосходя GPT-4-128k и другие существующие методы. Кроме того, GraphReader сохраняет хорошую производительность при работе с очень длинными контекстами, особенно в бенчмарке LV-Eval, где он показывает относительное улучшение производительности на 75.00% по сравнению с GPT-4-128k.

Результаты экспериментов показывают, что GraphReader достигает значительного повышения производительности при обработке длинных текстов, особенно при решении многоходовых задач и при работе с очень длинными текстами.

V. Последствия и перспективы

GraphReader не только представляет собой важное достижение в решении проблем обработки длинных контекстов в LLM, но и прокладывает путь для более продвинутых языковых моделей в будущем. Он демонстрирует, что дальние зависимости могут быть эффективно захвачены и использованы даже при небольшом контекстном окне, что имеет важное значение для задач, связанных с длинными документами и сложными многоступенчатыми рассуждениями. Эта работа может произвести революцию в таких областях, как анализ документов и помощь в исследованиях, открывая новые возможности для применения ИИ.