Создание следующего поколения чат-ассистентов с помощью Amazon Bedrock, Amazon Connect, Amazon Lex, LangChain и WhatsApp

Соавторами этой статьи выступили Харрисон Чейз, Эрик Фриис и Линда Йе из LangChain.

Генеративный ИИ в ближайшие годы произведет революцию в пользовательском опыте. Ключевым шагом в этом процессе станет появление ассистентов с искусственным интеллектом, которые смогут грамотно использовать инструменты, чтобы помочь клиентам ориентироваться в цифровом мире. В этой статье мы показываем, как развернуть контекстно-зависимый ИИ-ассистент. Ассистент основан на База знаний Amazon Bedrock, иАмазонка Лекс ответить пением Amazon Connect Создание и использование WhatsApp в качестве канала взаимодействия для обеспечения привычного и удобного интерфейса для пользователей.

База знаний Amazon Bedrock предоставляет контекстную информацию из частных корпоративных источников данных для фундаментальных моделей (FM) и агентов, поддерживая Поиск Расширенный генерация (RAG) для обеспечения более релевантных, точных и индивидуальных ответов. Эта функция представляет собой мощное решение для организаций, желающих усовершенствовать свои приложения генеративного ИИ. Благодаря встроенной совместимости с Amazon Lex и Amazon Connect она упрощает интеграцию знаний, относящихся к конкретной области. Автоматизация импорта, разбивки и встраивания документов избавляет от необходимости вручную настраивать сложные векторные базы данных или пользовательские системы поиска, что значительно снижает сложность и время разработки.

Это решение повышает точность ответов базовой модели и снижает количество неправильных ответов из-за валидации данных. По сравнению с поддержкой собственной системы управления знаниями это решение повышает экономическую эффективность за счет сокращения ресурсов на разработку и операционных расходов. Благодаря бессерверным сервисам AWS оно масштабируется и быстро адаптируется к растущим объемам данных и запросов пользователей. Оно также использует надежную инфраструктуру безопасности AWS для обеспечения конфиденциальности данных и соблюдения нормативных требований. Благодаря постоянному обновлению и расширению базы знаний приложения искусственного интеллекта могут всегда иметь самую свежую информацию. Выбрав базу знаний Amazon Bedrock, организации могут сосредоточиться на создании приложений ИИ с высокой добавленной стоимостью, а AWS возьмет на себя все сложности управления и поиска знаний, что позволит быстрее внедрять более точные и мощные решения ИИ с меньшими усилиями.

предварительные условия

Чтобы реализовать это решение, вам необходимо следующее:

• сайт Учетная запись AWSКомпания может предложить широкий спектр услуг на платформах Amazon Bedrock, Amazon Lex, Amazon Connect и AWS Lambda разрешение на создание ресурсов в
• Права доступа к модели доступны на Amazon Bedrock включить Клод 3 Хайку об антропе Модели. Следуйте примеру Доступ к базовой модели Amazon Bedrock Пошаговая процедура в
• сайт WhatsApp Бизнес-аккаунт для интеграции с Amazon Connect.
• Документация по продукту, статьи знаний или другие соответствующие данные в совместимом формате (например, PDF или текст) для импорта в базу знаний.

Обзор решений

Это решение использует несколько ключевых сервисов AWS AI для создания и развертывания ассистентов ИИ:

• Amazon Bedrock - Amazon Bedrock - это полностью размещенный сервис, предоставляющий высокопроизводительные фундаментальные модели (ФМ) от ведущих компаний в области ИИ, таких как AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, и Amazon через единый API. И широкий спектр возможностей, необходимых для создания генеративных приложений ИИ с учетом требований безопасности, конфиденциальности и ответственного ИИ.
• Базы знаний Amazon Bedrock - Предоставьте помощникам ИИ контекстную информацию из закрытых источников данных вашей компании.
• Служба Amazon OpenSearch - Встроенная поддержка Amazon Bedrock Knowledge Bases в качестве векторного хранилища.
• Амазонка Лекс - Диалоговый интерфейс для создания ИИ-помощников, включая определение намерений и слотов.
• Amazon Connect - Интеграция с WhatsApp делает ИИ-ассистента доступным в популярном приложении для обмена сообщениями.
• AWS Lambda - Выполните код для интеграции сервисов и реализации агента LangChain, который формирует основную логику ИИ-ассистента.
• Amazon API Gateway - Получайте входящие запросы от WhatsApp и направляйте их в AWS Lambda для дальнейшей обработки.
• Amazon DynamoDB - Сохраняет полученные и сгенерированные сообщения для поддержки памяти диалога.
• Amazon SNS - Маршруты, обрабатывающие исходящие ответы от Amazon Connect.
• LangChain - Предоставляет мощный уровень абстракции для создания агентов LangChain, которые помогают моделям Foundation Models (FM) выполнять контекстно-ориентированные рассуждения.
• LangSmith - Загружайте журналы выполнения агентов в LangSmith для расширения возможностей наблюдения, включая отладку, мониторинг, тестирование и оценку.

На следующей схеме показана архитектура.

Описание процесса

Процесс получения данных обозначен красными цифрами в правой части рисунка:

1. Загрузка файлов в Amazon Simple Storage Service (Amazon S3) источник данных.
2. Новый файл запускает функцию Lambda.
3. Лямбда-функции вызывают операции синхронизации с источниками данных базы знаний.
4. Amazon Bedrock Knowledge Bases получает данные из Amazon S3, разбивает их на фрагменты и генерирует векторы встраивания из выбранных базовых моделей (FM).
5. Amazon Bedrock Knowledge Bases хранит векторы встраивания в сервисе Amazon OpenSearch.

Левая часть рисунка представляет процесс передачи сообщений с помощью цифр:

1. Пользователь инициирует связь, отправляя сообщение через WhatsApp на веб-крючок, расположенный в другом месте.
2. Amazon API Gateway направляет входящие сообщения на обработку входящих сообщений, выполняемую AWS Lambda.
3. Обработчик входящих сообщений находится в Amazon DynamoDB Контактная информация пользователя записывается в
4. Для тех, кто впервые обращается за помощью, процессор входящих сообщений создает новую сессию в Amazon Connect и записывает ее в DynamoDB. Для возвращающихся пользователей восстанавливается существующая сессия Amazon Connect.
5. Amazon Connect направляет сообщения пользователей в Amazon Lex для обработки естественного языка.
6. Amazon Lex запускает ИИ-ассистента LangChain, реализованного с помощью функций Lambda.
7. ИИ-ассистент LangChain извлекает историю разговоров из DynamoDB.
8. Используйте базы знаний Amazon Bedrock, помощника ИИ LangChain для получения релевантной контекстной информации.
9. ИИ-ассистент LangChain генерирует подсказку, объединяет контекстные данные и запросы пользователя и отправляет ее в базовую модель, работающую на Amazon Bedrock.
10. Amazon Bedrock обрабатывает входные данные и возвращает ответ модели помощнику ИИ LangChain.
11. ИИ-ассистент LangChain передает ответ модели обратно в Amazon Lex.
12. Amazon Lex передает ответ модели в Amazon Connect.
13. Amazon Connect публикует ответ модели на Служба простых уведомлений Amazon (Amazon SNS).
14. Amazon SNS запускает лямбда-функцию Outbound Message Processor.
15. Обработчик исходящих сообщений извлекает соответствующую контактную информацию чата из Amazon DynamoDB.
16. Обработчик исходящих сообщений отправляет ответ пользователю через Meta WhatsApp API.

Развертывание этого ИИ-помощника включает в себя три основных этапа:

1. Используйте Amazon Bedrock Knowledge Bases для создания базы знаний и импорта соответствующей документации по продуктам, часто задаваемых вопросов (FAQ), статей и других полезных данных, которые помогут AI Assistant ответить на вопросы пользователей. Эти данные должны охватывать ключевые случаи использования и темы, поддерживаемые AI Assistant.
2. Создайте Агент LangChain для управления логикой ИИ-ассистента. Агент реализован в Lambda-функциях и использует базу знаний в качестве основного инструмента для поиска информации. Он работает на основе предоставленных Шаблоны AWS CloudFormation Автоматическое развертывание агентов и других ресурсов. См. список ресурсов в следующем разделе.
3. создать Экземпляры Amazon Connect и настроить Интеграция WhatsAppЭто позволяет пользователям общаться с ИИ-ассистентами через WhatsApp, обеспечивая привычный интерфейс и поддерживая богатые возможности взаимодействия, такие как изображения и кнопки. Это позволяет пользователям общаться с ИИ-помощником через WhatsApp, обеспечивая привычный интерфейс и поддерживая богатые возможности взаимодействия, такие как изображения и кнопки. Популярность WhatsApp повысила доступность ИИ-помощника.

Развертывание решений

Мы предоставляем готовые AWS CloudFormation Шаблоны для развертывания всего необходимого содержимого в учетной записи AWS.

1. Если вы еще не вошли в систему, пожалуйста, войдите Консоль AWS.
2. Выберите один из следующих вариантов Запуск стека чтобы открыть Консоль CloudFormation и создайте новый стек.
3. Введите следующие параметры:
   • StackName: Назовите свой стек, например. WhatsAppAIStack
   • LangchainAPIKey: через LangChain Сгенерированный ключ API

округ	Кнопка развертывания	URL-адрес шаблона (для обновления существующего стека до новой версии)	Стек AWS CDK (настраиваемый по мере необходимости)
Северная Вирджиния (us-east-1)		YML	GitHub

4. Поставьте галочку, чтобы подтвердить, что вы создаете Управление идентификацией и доступом AWS (IAM), затем выберите Создать стек.
5. Дождитесь окончания создания стека, которое займет около 10 минут. Когда он завершится, будет создан следующий стек:
   • Агент LangChain
   • Бот Amazon Lex
   • База знаний Amazon Bedrock
   • Векторное хранилище (Amazon OpenSearch Serverless)
   • лямбда (греческая буква Λλ)(для импорта данных и провайдеров)
   • Источники данных (Amazon S3)
   • DynamoDB
   • Магазин параметров Используется для хранения ключей API LangChain
   • Роль IAM и авторитет
6. Загрузите файл в источник данных, созданный для WhatsApp (Amazon S3). После загрузки файла источник данных будет автоматически синхронизирован.
7. Выберите самого последнего созданного помощника для тестирования в консоли Amazon Lex. Выберите Английский языкзатем выберите Тест и отправьте сообщение.

Создание экземпляра Amazon Connect и интеграция WhatsApp

Настройте Amazon Connect для интеграции с корпоративной учетной записью WhatsApp и включите канал WhatsApp для AI Assistant:

1. существовать Amazon Connect в консоли AWS Навигация в Создайте экземпляр, если вы еще не сделали этого. Создайте экземпляр в Настройки распределения Скопируйте свой ARN экземпляраЭта информация понадобится позже, чтобы связать бизнес-аккаунт WhatsApp. Эта информация понадобится позже, чтобы связать бизнес-аккаунт WhatsApp.
2. Выберите свой экземпляр, а затем на панели навигации выберите Потоки. Прокрутите вниз и выберите Амазонка Лекс. Выберите своего робота и выберите Добавить бота Amazon Lex Bot.
3. На панели навигации выберите Обзор. В Информация о доступе нижний вариант Войдите в систему для экстренного доступа.
4. В консоли Amazon Connect, на панели навигации Маршрутизация нижний вариант Потоки. Выбор Создайте поток. Поместите Получите информацию от клиентов Перетащите блок в процесс. Выберите блок. Выберите Текст в речь или текст в чате и добавьте вступительное сообщение, например, "Здравствуйте, чем я могу вам помочь сегодня?" Прокрутите страницу вниз и выберите Амазонка ЛексЗатем выберите бота Amazon Lex, созданного в шаге 2.
5. Сохранив блок, добавьте еще один блок под названием "Disconnect". Поместите Вход Стрелки соединяются с Получите информацию от клиентови будет Получите информацию от клиентов Стрелки соединяются с Отключить. Выбор Опубликовать.
6. После публикации в нижней части панели навигации выберите Показать дополнительную информацию о потоке. Скопируйте имя ресурса Amazon (ARN) процесса. Эта информация понадобится вам позже для развертывания интеграции WhatsApp. На следующем снимке экрана показан процесс в консоли Amazon Connect.

7. земля Предлагайте сообщения WhatsApp в качестве канала связи через Amazon Connect Разверните интеграцию WhatsApp, указав все подробности.

Тестовые решения

Взаимодействуйте с ИИ-помощником через WhatsApp, как показано ниже:

прояснить

Чтобы избежать постоянных расходов, удаляйте ресурсы после завершения их использования:

1. Удалите стек CloudFormation.
2. Удалите экземпляр Amazon Connect.

резюме

В этой статье описывается, как интегрировать Amazon Bedrock, иАмазонка Лекс ответить пением Amazon Connect Создайте умного разговорного ИИ-помощника и разверните его в WhatsApp.

Решение импортирует соответствующие данные в Базы знаний Amazon Bedrock База знаний, использование Агент LangChain реализация, ответы на вопросы через базу знаний и через WhatsApp Предоставьте пользователям доступный интерфейс. Это решение представляет собой доступный интеллектуальный помощник с искусственным интеллектом, который помогает пользователям ориентироваться в продуктах и услугах вашей компании.

Возможные дальнейшие шаги - настройка ИИ-ассистента под конкретные случаи использования, расширение базы знаний и использование LangSmith Анализ журналов диалогов для выявления проблем, устранения ошибок и устранения узких мест в последовательности вызовов FM.