Технический отчет о KAG, первой в Китае системе профессиональных услуг по расширению знаний о доменах, которая помогает большим моделям приземляться в вертикальных доменах.

Недавно Лян Лэй (Liang Lei), руководитель отдела знаний Ant Group, на конференции Bund Conference рассказал о проделанной за последние полгода работе по слиянию графа знаний и крупномасштабной языковой модели и выпустил KAG, первую в Китае систему услуг по расширению знаний для профессиональных доменов, которая помогает формировать профессиональный интеллект с функциями расширения знаний. Данная статья представляет собой текстовую подборку содержания доклада.

Связанные технические отчеты arXiv Адрес:https://arxiv.org/pdf/2409.13731

На этот раз мы объявили KAG общего технического отчета. Мы надеемся по-настоящему объединить преимущества символьных вычислений и векторного поиска по графам знаний, поскольку они во многом дополняют друг друга. В то же время мы будем использовать возможности понимания и генерации больших языковых моделей для создания системы генерации больших языковых моделей с расширением знаний. Техническая схема KAG будет продолжать совершенствоваться, а технический отчет - обновляться.

Мы скоро будем в OpenSPG Фреймворк KAG опубликован в проекте с открытым исходным кодом, адрес GitHub:

https://github.com/OpenSPG/KAG

Ключевые вопросы применения крупных вертикалей моделирования

После почти двух лет исследований и практической работы индустрия в целом признала сильные и слабые стороны Больших языковых моделей, а также их проблемы в отраслевых приложениях. Несмотря на то что Большие языковые модели продемонстрировали высокие возможности понимания и генерации, все еще существуют такие проблемы, как недостаток знаний о предметной области, сложность в принятии сложных решений и недостаточная надежность в профессиональных областях. Мы считаем, что "надежность" является ключевым условием для внедрения больших языковых моделей в реальных сценариях.

1.1 LLM не обладает способностью к критическому мышлению

Во-первых, большие языковые модели не обеспечивают возможности строгих рассуждений. Например, мы использовали вопрос "Кто является общей звездой фильмов 1989 A Thought и The Best Match?". На этот вопрос мы протестировали несколько больших языковых моделей в Китае по отдельности, и результаты показали, что точность и согласованность ответов невысоки. Даже если некоторые модели могут дать ответ, в нем присутствуют логические ошибки или неправильная разборка проблемы. По мере усложнения условий, например, изменения условий на "актер-мужчина" и "актер-женщина" или добавления ограничений по времени, точность и стабильность будут продолжать снижаться.

Для решения этих проблем в отрасли было проведено множество исследований. Например, построив модель цепочки мышления (COT) и определив шаблон цепочки мышления Multiple/Tree/Graph, LLM позволяет разумно разобрать проблему. В этом году все больше и больше исследований было направлено на то, чтобы принести RAG В большой языковой модели используются методы, компенсирующие недостаток фактической информации. Дальнейшие разработки включают GraphRAG, который использует графовые структуры для оптимизации механизмов поиска.

Внедрение внешних баз знаний широко используется в настоящее время, но даже при внедрении таких технологий, как RAG, позволяющих сделать базы знаний или файлы фактов, относящиеся к конкретной области, доступными для повторной генерации в больших языковых моделях, точность генерируемых ответов все еще не полностью гарантирована.

1.2 Ошибки фактов, логики и точности

В левой части рисунка ниже показан пример использования большой модели для интерпретации показателя в правительственном отчете. Хотя бизнесмены заранее отметили его, большая модель все равно добавит свое собственное понимание, что приведет к искажению информации или неподтвержденным ошибкам. Например, упоминается, что определенный город занимает первое место в определенной провинции, но с точки зрения бизнеса это неверно. Аналогично, информация о доле в банке стоимостью 80 миллионов долларов, выставленной на аукцион, отсутствует в исходном документе. Хуже того, модель также выдает числовые и логические ошибки, когда бизнес-показатели, представленные в исходном документе, относятся к 2022 году, а сгенерированный контент обозначен как 2023.

Неточности в процессе запоминания остаются проблемой даже при наличии внешней базы знаний. Пример справа иллюстрирует недостатки подхода RAG, основанного на вычислении векторов. Например, при запросе о том, как найти пенсию, прямое использование векторов для вычисления отозванных документов не соответствует знаниям, определенным бизнес-экспертами.

В вертикальных областях многие знания тесно связаны друг с другом, даже если на первый взгляд они не похожи. Например, "пенсия" относится к категории "пять страховок и одна пенсия", которая тесно связана с национальной политикой, и большая модель не может генерировать такую информацию произвольно. Поэтому для ограничения поведения модели и обеспечения эффективного ввода знаний необходима заранее определенная структура знаний о домене.

1.3 Общий RAG также пытается разрешить иллюзии LLM

Как показано на рисунке ниже, в оригинальном тексте упоминается, что витамины и минералы в функциональных напитках полезны для восполнения организма и снятия усталости после тренировки, но после переписывания модели это может быть неверно описано как "имеющий определенный эффект на повышение усталости", что является вводящим в заблуждение сообщением, которое вызовет проблемы у пользователей.

Кроме того, возникают проблемы с обратным переводом сущностей, например, переписывание исходного предложения с "15-18 дней после превращения в куколку" на "25-32 дня после превращения в куколку". Подобные ошибки в деталях становится сложнее обнаружить, когда модель генерирует сотни или даже тысячи слов контента.

Согласно результатам оценки, даже при использовании техники RAG большая языковая модель все равно страдает от фантомного уровня 30%-40%, что является довольно высоким показателем. Поэтому при применении крупномасштабных языковых моделей в вертикальных доменах они должны отвечать чрезвычайно высоким требованиям профессионализма.

1.4 Вызовы и требования к профессиональным услугам в области знаний

В реальных сценариях принятия решений в бизнесе, будь то подготовка исследовательского отчета или рассмотрение претензии по автострахованию, решение сложных проблем требует строгого пошагового процесса, включающего планирование проблемы, сбор данных, выполнение решения, а также генерацию и предоставление обратной связи. При применении больших языковых моделей в профессиональных областях также необходим строгий и контролируемый процесс принятия решений.

При оказании экспертных услуг на основе большой модели необходимо соблюдать несколько условий, чтобы лучше обслуживать сообщество и конкретные области:

• Во-первых, важно обеспечить точность знаний, включая целостность их границ, четкость структуры и семантики;
• Во-вторых, требуется логическая строгость, чувствительность к времени и числам;
• Наконец, полная контекстная информация необходима для облегчения доступа к полной вспомогательной информации при принятии решений, основанных на знаниях;

Вышеперечисленные возможности также являются теми, которых не хватает большинству существующих крупных моделей. В связи с этим в первой половине этого года мы провели большую исследовательскую работу и официально приступили к созданию фреймворка управляемой генерации, основанного на расширении знаний для вертикальных доменов.

KAG: система услуг по расширению знаний для областей экспертизы

На рисунке ниже показан принцип работы нашей общей системы Knowledge-Enhanced Generation (KAG), которая основана на OpenSPG Обновления на основе проектов с открытым исходным кодом. Мы внесли усовершенствования для решения пяти аспектов текущей комбинации больших языковых моделей и графов знаний:

Во-первых, мы добиваемся улучшения представления знаний. Оригинальный граф знаний ограничен строгой схемой, что приводит к высокому порогу применения и разреженным данным, делая его часто неразрешимым при ответе на вопросы в вертикальных доменах. По этой причине мы оптимизировали и улучшили представление знаний для больших языковых моделей, чтобы граф знаний мог лучше поддерживать применение больших языковых моделей.

Во-вторых, графики служат отличным интеграционным инструментом, позволяющим лучше связать все виды знаний, будь то строгие академические знания или информация из текста. Таким образом.Мы создали структуру взаимного индекса, перейдя от инвертированного индекса на основе терминов к инвертированному индексу на основе графов.Это позволяет не только эффективно индексировать документы, но и поддерживать семантические ассоциации между документами и согласованность между сущностями.

В-третьих, в процессе рассуждений мы используем символическую разборку для обеспечения логической строгости. Трудно обеспечить логическую последовательность в языке, сгенерированном языковой моделью, поэтому мы вводим LogicForm-driven Solver and Reasoning для символьной разборки.

В-четвертых, чтобы преодолеть разрыв между стоимостью построения графа знаний и эффективностью практического применения, мы используем метод извлечения открытой информации для построения графа знаний, который значительно снижает стоимость построения, но при этом вносит больше шума. Поэтому мы вводим механизм выравнивания знаний, который использует концептуальные знания для завершения выравнивания между открытой информацией и знаниями домена, стремясь сбалансировать потребности извлечения открытой информации и семантического выравнивания.

Наконец, мы разработали модель KAG с целью лучшей интеграции возможностей крупномасштабных языковых моделей и графов знаний для достижения более эффективного синергетического эффекта. Органическое взаимодействие между ними облегчается за счет синтеза инструкций, а конечной целью является полная интеграция преимуществ символьных вычислений и векторного поиска, а также полное использование возможностей понимания и генерации языковой модели, что способствует ее применению и расширению возможностей в вертикальных областях.