RIG (Retrieval Interleaved Generation): стратегия поиска с записью во время поиска, подходит для запросов к данным в реальном времени.

Основа технологии: чередующееся генерирование с извлечением (RIG)

• Что такое RIG?
  RIG - это инновационная генеративная методология, разработанная для решения проблемы галлюцинаций при обработке статистических данных большими языковыми моделями. В то время как традиционные модели могут генерировать неточные цифры или факты из воздуха, RIG обеспечивает подлинность данных, вставляя в процесс генерации запросы к внешним источникам данных.
• Принцип работы ::
  • Когда модель получает вопрос, требующий статистики, она динамически обращается к Data Commons (общедоступной базе знаний о данных, созданной Google), генерируя ответ.
  • Результаты запроса встраиваются в вывод на естественном языке, например:[DC("Каково население Франции?") --> "67 миллионов"]..
  • Такое "чередование поиска и генерации" позволяет модели сохранять лингвистическую беглость и одновременно предоставлять проверенную статистическую информацию.

Детали модели

• базовая модель : Gemma 2 (версия с параметрами 27B), эффективная языковая модель с открытым исходным кодом, предназначенная для исследований и экспериментов.
• Тонкая настройка целей : Специально обучены распознавать, когда нужно запросить Data Commons, и легко интегрировать эти данные в процесс генерации.
• Входы и выходы ::
  • Ввод: любая текстовая подсказка (например, вопрос или утверждение).
  • Выходные данные: текст на английском языке, может содержать встроенные результаты запросов Data Commons.
• многоязычие : Поддерживается в основном английский язык ("it" может означать "instruction-tuned", т.е. версия с поддержкой инструкций, но на странице не указан языковой диапазон).

сценарий применения

• целевой пользователь : академические исследователи, специалисты по изучению данных.
• использовать : Подходит для сценариев, где требуется точная статистика, например, ответы на вопросы "население страны", "глобальные выбросы CO2 в определенном году" и т.д.
• ограничение : В настоящее время это ранний релиз, предназначенный только для доверенных тестировщиков, не рекомендуется для использования в производственных средах или в коммерческих целях.

Модели:https://huggingface.co/google/datagemma-rig-27b-it

Оригинальный текст:https://arxiv.org/abs/2409.13741

Процесс реализации ПИГ

RIG - это подход, в котором поиск чередуется с генерацией, направленный на повышение точности генерируемых результатов за счет того, что LLM генерирует запросы на естественном языке для получения данных из Data Commons. Ниже приведены подробные шаги по реализации RIG:

1. Тонкая настройка модели (Тонкая настройка модели)

цели: Для LLM, чтобы научиться генерировать запросы на естественном языке, которые могут быть использованы для получения статистики из Data Commons.

перейти::

• Первоначальный запрос и генерация: Когда LLM получает статистический запрос, он обычно генерирует текст, содержащий числовой ответ. Мы будем называть этот числовой ответСтатистические значения, полученные с помощью LLM (LLM-SV)Например, для запроса "Какова общая численность населения Калифорнии? Например, для запроса "Какова общая численность населения Калифорнии?" LLM может выдать "Общее население Калифорнии составляет около 39 миллионов человек".
• Определение соответствующих данных: Из текста, сгенерированного LLM, нам нужно выделить наиболее релевантные данные из базы данных Data Commons, чтобы сделать их доступными для пользователей в качестве механизма проверки фактов. Мы называем это полученное значениеData Commons Statistical Values (DC-SV).
• Создание запросов на естественном языке: Для достижения этой цели мы настраиваем LLM таким образом, чтобы он генерировал запрос на естественном языке, описывающий LLM-SV вместе с LLM-SV. Этот запрос будет использоваться для получения данных из Data Commons.

  
  Рисунок 1. Сравнение ответов на запросы; базовая версия Gemma (Gemma 7B IT, Gemma 2 27B IT) без взаимодействия с Data Commons и ответы Retrieve Interleaved Generation (RIG).

  Рисунок 1Показано сравнение ответов базовой модели Gemma и модели RIG. Модель RIG генерирует не только статистические значения, но и запросы, используемые для поиска.

• Набор обучающих данных: Для тонкой настройки мы используем набор данных команд-ответов, содержащий около 700 пользовательских запросов. Для каждого запроса мы выбираем ответы, сгенерированные базовой моделью, содержащей статистические данные (около 400 примеров), и используем более мощный LLM (например, Gemini 1.5 Pro) для генерации вызовов Data Commons на естественном языке.

  типичный пример::

  • проконсультироваться (с документом и т.д.)Назовите мне хоть одну статистику о Калифорнии, Сан-Франциско, Алабаме и США.
  • необработанный ответ::
    • Калифорния занимает 1-е место в списке самых густонаселенных штатов страны: в 2020 году здесь будет проживать около 39 миллионов человек.
    • В Сан-Франциско заболеваемость диабетом составляет 9,2 случая на 10000 человек.
    • ...
  • Тонкая настройка реакции::
    • Калифорния занимает 1-е место в списке самых густонаселенных штатов страны, где проживает около [DC("каково было население Калифорнии в 2020 году?") --> "39 миллионов"] человек.
    • В Сан-Франциско заболеваемость диабетом составляет [DC("какова распространенность диабета в Сан-Франциско?") --> "9,2 случая на 10000 человек"].
    • ...

2. Преобразование запросов

цели: Преобразует запросы на естественном языке, генерируемые LLM, в структурированные запросы для получения данных из Data Commons.

перейти::

• декомпозиция запроса: Разложите запрос на естественном языке на следующие компоненты:
  • Статистические переменные или темы:: например, "Уровень безработицы", "Демография" и т.д.
  • сайтыНапример, "Калифорния".
  • причинность:: например, "рейтинг", "сравнение", "темп изменения" и т.д.
• Картирование и идентификацияСоотнесите эти компоненты с их соответствующими идентификаторами в Data Commons. Например, используя индексацию семантического поиска на основе вкраплений для определения статистических переменных и идентификацию именованных сущностей на основе строк для определения местоположения.
• Сопоставление категорий и шаблонов: Классификация запросов в фиксированный набор шаблонов запросов на основе выявленных компонентов. Пример:
  • Сколько XX в YY（YY有多少XX）)
  • Какова корреляция между XX и YY в ZZ в AA (Какова корреляция между XX и YY в ZZ в AA)
  • Какие XX в YY имеют наибольшее количество ZZ (YY中哪些XX的ZZ数量最多)
  • Какие самые значительные XX в YY（YY中最显著的XX是什么 35 какие самые значительные XX в YY 34)

  
  Рисунок 2: Сравнение базового метода, методов RIG и RAG для создания ответов со статистическими данными. Базовый подход напрямую сообщает статистику, не предоставляя доказательств, в то время как RIG и RAG используют Data Commons для предоставления авторитетных данных.

  Рисунок 2Показано сравнение базового метода, методов RIG и RAG. Метод RIG генерирует статистические метки, чередуя их с вопросами на естественном языке, подходящими для поиска в Data Commons.

• Выполнение запросов: Вызовите API структурированных данных Data Commons для получения данных на основе шаблонов запросов и идентификаторов переменных и местоположений.

3. Выполнение

цели: Представьте полученные данные пользователю вместе со статистическими значениями, сгенерированными LLM.

перейти::

• Представление данных: Представьте пользователю ответы, полученные от Data Commons, вместе со статистикой, полученной от оригинального LLM. Это дает пользователям возможность проверить LLM на факты.

  
  Рисунок 3: Инструмент оценки RIG. На этом рисунке представлены снимки экрана двух этапов оценки, показанные рядом. На каждом этапе есть две панели. Слева пользователю показывается полный ответ, который оценивается (исключен из приведенного выше изображения для экономии места). Справа - задание на оценку. На этапе 1 эксперт проводит быструю проверку на наличие очевидных ошибок. На этапе 2 эксперт оценивает каждую статистику, присутствующую в ответе.

  Рисунок 3Демонстрирует процесс использования инструмента оценки RIG. Эксперт может быстро проверить наличие очевидных ошибок и оценить каждую статистику, представленную в ответе.

• опыт пользователей: Существует множество способов представить этот новый результат, таких как бок о бок, выделение различий, сноски, наведение курсора и т.д., которые могут быть изучены в рамках будущей работы.

резюме

Процесс внедрения RIG включает следующие основные этапы:

1. Тонкая настройка моделирования: Пусть LLM генерирует запросы на естественном языке, которые описывают статистические значения, генерируемые LLM.
2. Преобразование запросов: Преобразование запросов на естественном языке в структурированные запросы для получения данных из Data Commons.
3. Поиск и представление данных: Получение данных из Data Commons и представление полученных данных пользователю вместе со статистикой, сгенерированной LLM.

Благодаря этим шагам метод RIG эффективно сочетает генеративные возможности LLM с ресурсами данных Data Commons, что повышает точность LLM при обработке статистических запросов.