Agent Service Toolkit: полный набор инструментов для создания искусственного интеллекта на основе LangGraph

Общее введение

AI Agent Service Toolkit - это полный набор инструментов, построенный на LangGraph, FastAPI и Streamlit и предназначенный для того, чтобы помочь разработчикам быстро создавать и запускать сервисы агентов искусственного интеллекта. Инструментарий предоставляет гибкую основу, поддерживающую определяемые пользователем функции и взаимодействия агентов для различных сценариев применения. Будь то разработка чат-ботов, инструментов для анализа данных или других сервисов на основе ИИ, пользователи смогут быстро реализовать их с помощью этого инструментария. Инструментарий разработан с учетом простоты использования и расширяемости, что позволяет пользователям легко интегрировать необходимую функциональность путем простой настройки и модификации кода.

Опыт работы: https://agent-service-toolkit.streamlit.app/

Архитектура инструментария агентских служб

Список функций

• Агент LangGraph : Использование LangGraph Встроенные в фреймворк настраиваемые агенты.
• Службы FastAPI : Предоставляет услуги для потоковых и непотоковых конечных точек.
• Расширенная обработка потоковых данных : Поддерживает потоковую передачу на основе токенов и сообщений.
• Аудит содержания : Внедрение LlamaGuard для аудита содержимого (обязательно) Groq (ключ API).
• Интерфейс Streamlit : Предоставляет удобный интерфейс чата для взаимодействия с агентами.
• Поддержка нескольких агентов : Запустите несколько прокси-серверов в службе и вызывайте их через URL-пути.
• асинхронный дизайн : Эффективная обработка параллельных запросов с помощью async/await.
• Механизмы обратной связи : Включает систему отзывов на основе звезд, интегрированную с LangSmith.
• Динамические метаданные Конечная точка : /info предоставляет динамические метаданные конфигурации о сервисах и доступных агентах и моделях.
• Поддержка Docker : Включает файлы Dockerfiles и файлы docker compose для упрощения разработки и развертывания.
• испытание (машины и т.д.) : Включает полное модульное и интеграционное тестирование.

Использование помощи

Процесс установки

1. Запустите его непосредственно в Python ::
   • Убедитесь, что у вас есть хотя бы один ключ API LLM:

   echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   

   • Установите зависимости и выполните синхронизацию:

   pip install uv
   uv sync --frozen
   

   • Активируйте виртуальную среду и запустите службу:

   source .venv/bin/activate
   python src/run_service.py
   

   • Активируйте виртуальную среду в другом терминале и запустите приложение Streamlit:

   source .venv/bin/activate
   streamlit run src/streamlit_app.py
   

2. Запуск с помощью Docker ::
   • Убедитесь, что у вас есть хотя бы один ключ API LLM:
     bash echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   • Запустите его с помощью Docker Compose:
     bash docker compose up

Функции Поток операций

1. Агент LangGraph ::
   • Определите прокси: в src/agents/ Каталог для определения агентов с различными возможностями.
   • Настройка агента: используйте langgraph.json Файл конфигурирует поведение и настройки агента.
2. Службы FastAPI ::
   • Запустите службу: run src/service/service.py Запустите службу FastAPI.
   • Доступ к конечным точкам: через /stream ответить пением /non-stream Служба Endpoint Access Proxy Service.
3. Интерфейс Streamlit ::
   • Начальный экран: Выполнить src/streamlit_app.py Запустите приложение Streamlit.
   • Интерактивное использование: взаимодействуйте с агентом через удобный интерфейс чата.
4. Аудит содержания ::
   • Настройка LlamaGuard: в .env файл, чтобы добавить ключ API Groq для включения аудита содержимого.
5. Поддержка нескольких агентов ::
   • Настройте несколько прокси-серверов: в src/agents/ Каталог для определения нескольких прокси-серверов и их вызова по разным URL-путям.
6. Механизмы обратной связи ::
   • Интегрированная система обратной связи: в агентский сервис интегрирована система обратной связи на основе звезд для сбора отзывов пользователей с целью улучшения сервиса.
7. Динамические метаданные ::
   • Доступ к метаданным: через /info Конечные точки получают динамические конфигурационные метаданные о сервисах и доступных агентах и моделях.
8. испытание (машины и т.д.) ::
   • Запустите тест: в tests/ Каталог для запуска модульных и интеграционных тестов, обеспечивающих стабильность и надежность сервиса.