Как искусственный интеллект Rexera обеспечивает контроль качества с помощью LangGraph

Узнайте, как компания Rexera перешла на LangGraph, чтобы создать мощную систему контроля качества для бизнес-процессов в сфере недвижимости и значительно повысить точность ответов на запросы в рамках Большой языковой модели (LLM).

Компания Rexera совершает революцию в отрасли сделок с недвижимостью стоимостью 50 миллиардов долларов, автоматизируя ручные процессы с помощью искусственного интеллекта. Внедряя интеллектуальный искусственный интеллект, Rexera оптимизирует бизнес-процессы в сфере недвижимости и ускоряет сделки, значительно сокращая расходы и количество ошибок.

С помощью LangChain и LangGraph Помимо больших языковых моделей (LLM), Rexera разрабатывает сложные искусственные интеллекты. Эти ИИ-интеллекты способны выполнять сложные когнитивные задачи, такие как:

• Заказ Оплата Расчетная ведомость
• Извлечение ключевой информации из документов
• Выполнение проверок контроля качества

Ниже мы расскажем о том, как компания Rexera создала мощное приложение для контроля качества (QC), способное анализировать бизнес-процессы в сфере недвижимости с такой же точностью, как и человеческий оператор, и заблаговременно выявлять проблемы, чтобы предотвратить задержки. Мы рассмотрим, как их система развивалась от первоначального подхода с использованием одного запроса к более контролируемому и точному решению с помощью LangGraph.

Первоначальный подход: однопрограммная проверка LLM и ее ограничения

Контроль качества очень важен при сделках с недвижимостью, и компания Rexera разработала специальное приложение QC, которое ежедневно проверяет тысячи рабочих процессов. Приложение проверяет возможные ошибки на всех этапах сделки с недвижимостью, включая обработку данных, общение с клиентами и взаимодействие с ассоциациями домовладельцев (ТСЖ), окружными управлениями, коммунальными компаниями и другими заинтересованными сторонами.

Для обеспечения качества сделок с недвижимостью компания Rexera изначально внедрила несколько однопрограммных проверок LLM. Эти проверки были предназначены для проверки:

• Точность документов
• Выполнение ожиданий клиентов
• Своевременность рабочего процесса (соблюдение SLA)
• контроль затрат

Однако у этого подхода есть свои ограничения. Однопрограммные LLM не могут справиться со сложностью процесса сделки с недвижимостью по ряду причин, включая тот факт, что они не отражают полную картину всего рабочего процесса, имеют ограниченный контекст и не могут корректно обрабатывать многомерные сценарии.

Rexera оценивает эффективность проверок LLM по следующим трем ключевым показателям, проверенным в тысячах рабочих процессов:

1. точность: Оценка правильности определения проблемы
2. эффективность: Скорость выполнения одной транзакции
3. экономическая эффективность: Расходы, связанные с LLM

Такой подход упрощал контроль качества, отмечая потенциальные проблемы и сокращая необходимость ручного анализа. Однако компания Rexera осознала необходимость в более продвинутом решении для эффективной обработки сложного рабочего процесса в сфере недвижимости.

Эволюция к искусственному интеллекту: попытка CrewAI

Осознав ограничения однопрограммного LLM, Rexera попробовала использовать CrewAI подход с использованием нескольких интеллектов, когда каждый интеллект ИИ отвечает за отдельную часть процесса транзакции. Например, интеллект может быть определен как:

• Роль: "Старший аналитик по проверке качества контента"
• ЗАДАЧА: "Проверить, что все документы HOA были заказаны в соответствии с запросом клиента, и убедиться, что соответствующее ETA и информация о стоимости были отправлены клиенту".

Этот подход дает ряд преимуществ по сравнению с LLM с одной подсказкой:

• дезинформация(ошибочно обозначенный как не имеющий отношения к делу) снизился с 35% до 8%.
• упущение(Неспособность отметить реальную проблему) снизилась с 10% до 5%.

Однако подход CrewAI также сталкивается с одной из ключевых проблем. Несмотря на свою мощь, ИИ-интеллекты иногда могут выбрать неверный путь при принятии решений, подобно тому, как система GPS выбирает более длинный маршрут. Отсутствие точного контроля приводит к тому, что в сложных сценариях интеллектуальные системы могут сбиться с пути, что приведет к ложным или пропущенным сигналам тревоги.

Переход на LangGraph для обеспечения точности и контроля

Чтобы преодолеть ограничения подхода CrewAI, Rexera обратилась к LangGraph для разработки индивидуальных путей принятия решений для различных сценариев, что оказалось особенно полезным при работе со сложными случаями. LangGraph - это фреймворк для управляемых интеллектов, созданный командой LangChain, который дает Rexera дополнительные преимущества, включая интеграцию рабочих процессов с участием человека, управление состояниями и многое другое. LangGraph

Чтобы проиллюстрировать эффективность нового подхода, основанного на LangGraph, давайте рассмотрим пример ускоренного заказа. Это распространенное осложнение в бизнес-процессах, связанных с недвижимостью, когда требуется завершить сделку быстрее стандартного графика.

Используя LangGraph, компания Rexera создала древовидную систему для приложений контроля качества (QC), поддерживающую циклы и разветвления. Такая структура позволяет приложениям контроля качества перемещаться по различным путям в зависимости от требований к ускорению.

Когда приложение распознает срочный заказ, оно следует за ветвью "Срочный заказ" в древовидной структуре. Для стандартных заказов приложение следует по другой ветви и фокусируется на обычных проверках обработки.

Эта древовидная структура, поддерживаемая LangGraph, значительно повышает точность и целостность процесса контроля качества Rexera за счет более детерминированного процесса принятия решений и уменьшения случайностей, связанных с неправильным выбором пути. Это изменение обеспечивает согласованность результатов и позволяет точно и эффективно завершать рабочие процессы.

Применяя LangGraph к существующим улучшениям CrewAI, были достигнуты следующие оптимизации:

• Частота ложных срабатываний увеличилась с 8% - 2%
• Частота ложноотрицательных результатов увеличилась с 5% Сокращено до 2%

Для одного и того же сценария ускоренного заказа в следующих примерах анализируются результаты контроля качества в рамках каждой из новых архитектур:

Вывод Large Language Model (LLM) для одиночных подсказок:

• Проблемы найдены: "Правда"
• Объяснение: "В общении с клиентом мы не признавали ускоренную заявку".
• Анализ: ложное срабатывание --Хотя ускоренный запрос был фактически подтвержден и выполнен, LLM не смог распознать это в силу своей ограниченной способности работать со сложными многоступенчатыми взаимодействиями, таким образом, неправильно отметив проблему.

Выход CrewAI:

• Проблемы найдены: "Ложь"
• Объяснение: "Клиент запросил ускоренный заказ, и команда подтвердила и обработала запрос".
• Анализ: частично точный --CrewAI определила правильный результат, что ускоренный заказ был выполнен, но не отметила различия в типе заказа, например, был ли он правильно отмечен и обработан в системе как ускоренный заказ.

Вывод LangGraph:

• Проблемы найдены: "Правда"
• Объяснение: "В деталях заказа указано "Ускоренный заказ: нет", хотя клиент запросил ускоренный заказ, и мы подтвердили и выполнили ускоренный заказ".
• Анализ: Совершенно точно --LangGraph не только подтвердил, что ускоренные заказы были подтверждены и выполнены, но и выявил несоответствия в записях о типах заказов. Следуя индивидуальному пути принятия решений, он обеспечил подтверждение как подтверждения ускоренного запроса, так и правильной обработки типа заказа, что позволило избежать возможных задержек и проблем.

вынести вердикт

Используя возможности LangGraph по созданию циклов и ветвлений, компания Rexera создала более интеллектуальное и адаптируемое приложение для контроля качества, которое гарантирует, что ее агенты с искусственным интеллектом смогут провести правильную проверку для каждого конкретного сценария, повышая эффективность и точность сделок с недвижимостью.