Agent Service Toolkit: un completo conjunto de herramientas para construir inteligencias IA basadas en LangGraph

Introducción general

AI Agent Service Toolkit es un completo conjunto de herramientas basado en LangGraph, FastAPI y Streamlit, diseñado para ayudar a los desarrolladores a crear y ejecutar rápidamente servicios de agentes de IA. El conjunto de herramientas proporciona un marco flexible que admite funciones e interacciones de agente definidas por el usuario para una gran variedad de escenarios de aplicación. Ya se trate de desarrollar chatbots, herramientas de análisis de datos u otros servicios basados en IA, los usuarios pueden implementarlos rápidamente utilizando el toolkit. El kit de herramientas se ha diseñado teniendo en cuenta la facilidad de uso y la extensibilidad, lo que permite a los usuarios integrar fácilmente la funcionalidad necesaria mediante una configuración sencilla y modificaciones del código.

Experiencia: https://agent-service-toolkit.streamlit.app/

Arquitectura del kit de herramientas de servicios de agentes

Lista de funciones

• Agente LangGraph : Uso LangGraph Agentes personalizables creados en el marco de trabajo.
• Servicios FastAPI : Proporciona servicios para puntos finales de streaming y no streaming.
• Procesamiento avanzado de secuencias : Soporta streaming basado en tokens y mensajes.
• Auditoría de contenidos Implementar LlamaGuard para la auditoría de contenidos (obligatorio) Groq (clave API).
• Interfaz Streamlit : Proporciona una interfaz de chat fácil de usar para interactuar con los agentes.
• Soporte multiagente Ejecuta múltiples proxies en el servicio e invócalos a través de rutas URL.
• diseño asíncrono : Maneja eficientemente peticiones concurrentes con async/await.
• Mecanismos de retroalimentación : Incluye un sistema de retroalimentación basado en estrellas integrado con LangSmith.
• Metadatos dinámicos El punto final : /info proporciona metadatos de configuración dinámica sobre los servicios y los agentes y modelos disponibles.
• Soporte Docker : Incluye archivos Dockerfiles y archivos docker compose para facilitar el desarrollo y el despliegue.
• prueba (maquinaria, etc.) Incluye pruebas unitarias y de integración completas.

Utilizar la ayuda

Proceso de instalación

1. Ejecutarlo directamente en Python ::
   • Asegúrate de que tienes al menos una clave API LLM:

   echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   

   • Instalar dependencias y sincronizar:

   pip install uv
   uv sync --frozen
   

   • Active el entorno virtual y ejecute el servicio:

   source .venv/bin/activate
   python src/run_service.py
   

   • Active el entorno virtual en otro terminal y ejecute la aplicación Streamlit:

   source .venv/bin/activate
   streamlit run src/streamlit_app.py
   

2. Funcionamiento con Docker ::
   • Asegúrate de que tienes al menos una clave API LLM:
     bash echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   • Ejecútalo con Docker Compose:
     bash docker compose up

Función Flujo de operaciones

1. Agente LangGraph ::
   • Definir el proxy: en el campo src/agents/ Catálogo para definir agentes con diferentes capacidades.
   • Configuración del agente: Utilice la opción langgraph.json configura el comportamiento y los ajustes del agente.
2. Servicios FastAPI ::
   • Inicie el servicio: ejecutar src/service/service.py Inicie el servicio FastAPI.
   • Acceso a los puntos finales: a través de /stream responder cantando /non-stream Servicio proxy de acceso a puntos finales.
3. Interfaz Streamlit ::
   • Pantalla de inicio: Ejecutar src/streamlit_app.py Inicie la aplicación Streamlit.
   • Uso interactivo: interactúe con el agente a través de una interfaz de chat fácil de usar.
4. Auditoría de contenidos ::
   • Configuración de LlamaGuard: En el .env para añadir la clave de la API de Groq para habilitar la auditoría de contenido.
5. Soporte multiagente ::
   • Configurar varios proxies: en el campo src/agents/ Directorio para definir múltiples proxies e invocarlos a través de diferentes rutas URL.
6. Mecanismos de retroalimentación ::
   • Sistema de feedback integrado: se integra en el servicio de agente un sistema de feedback basado en estrellas para recoger las opiniones de los usuarios con el fin de mejorar el servicio.
7. Metadatos dinámicos ::
   • Acceso a los metadatos: mediante /info Los puntos finales obtienen metadatos de configuración dinámica sobre los servicios y los agentes y modelos disponibles.
8. prueba (maquinaria, etc.) ::
   • Ejecute la prueba: en el tests/ Catálogo para ejecutar pruebas unitarias y de integración que garanticen la estabilidad y fiabilidad del servicio.