Agenta: una herramienta para evaluar los efectos de las palabras clave y los modelos integrados en aplicaciones de IA

Introducción general

Agenta es una herramienta de gestión de modelos de IA de código abierto especializada en ayudar a los usuarios a experimentar fácilmente con palabras clave, probar los efectos de los modelos y supervisar las ejecuciones. Es adecuada para quienes deseen desarrollar aplicaciones de IA con rapidez, ya que ofrece una plataforma sencilla de utilizar. Se puede utilizar para probar los efectos de diferentes palabras clave, comparar las respuestas de varios modelos de IA y ver los datos de ejecución de la aplicación, como la velocidad y el coste, en tiempo real.Agenta es compatible con muchos marcos de IA comunes, como LangChain, y es a la vez potente y flexible. Como es de código abierto, cualquiera puede utilizarlo gratuitamente, y puedes encontrar el código en GitHub para hacer tus propios cambios. Ahora tiene más de 2.1k likes en GitHub, lo que significa que es muy popular.

Lista de funciones

• Palabra clave área experimentalIntroduzca palabras clave en la página web para probar diferentes modelos de IA y comparar los resultados.
• Personalizar el flujo de tareasPuedes crear tu propio flujo de tareas de IA, como hacer que un modelo responda a preguntas basándose en información.
• Prueba del efecto del modeloHerramientas para comprobar la calidad de la respuesta al modelo, con posibilidad de puntuación automática o de pedir ayuda a alguien.
• Apoyo a la inspección manualPuede trabajar con el equipo para comparar las respuestas de los modelos y elegir la mejor.
• Guardar tacoGuarda las palabras clave probadas y llámalas siempre que quieras utilizarlas.
• Supervisión del funcionamiento en tiempo realComprueba cuánto cuesta utilizar la IA, a qué velocidad funciona y si hay algún problema.

Utilizar la ayuda

Proceso de instalación

Agenta se puede instalar en tu propio ordenador y utilizarlo, o puedes utilizar el servicio en la nube. Aquí tienes los pasos para instalarlo en tu ordenador:

1. Preparar el entorno
   • Asegúrese de que su ordenador dispone de Docker y Docker Compose, que son herramientas esenciales para ejecutar Agenta.
   • Se prefiere Linux o macOS, los usuarios de Windows tendrán que abrir primero WSL2.
   • Comprueba que Python (se recomienda 3.10 o superior) y Git están instalados, los necesitarás más adelante.
2. Descargar e iniciar
   • Abre un terminal e introduce el comando para descargar Agenta:

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • A continuación, inicie el servicio:

     docker compose -f docker-compose.gh.yml up -d
     

   • Espere unos minutos, abra su navegador y escriba http://localhost:3000y podrás ver la página.
3. Opciones de configuración (opcional)
   • Si no desea que Agenta recopile datos anónimos, puede cambiar la opción agenta-web/.env ponga el icono TELEMETRY_TRACKING_ENABLED establecido como false.
   • Los usuarios que utilizan la línea de comandos (CLI) pueden cambiar el ~/.agenta/config.tomlConfigurar como telemetry_tracking_enabled = false.
4. Comprueba que está encajado.
   • Ver la página de bienvenida de Agenta en tu navegador es señal de éxito.
   • Si quieres usar la nube, puedes ver cómo conectarte a AWS o a otros servicios en la nube en la web oficial.

Cómo funcionan las principales funciones

1. Área experimental de la palabra clave

• ¿Cómo puedo entrar?Inicia sesión en Agenta y toca "Zona de juegos" en el menú de la izquierda.
• cueEscriba las palabras que desea probar en la casilla, por ejemplo, "Escribir una redacción breve".
• modeloSeleccione el modelo de IA (por ejemplo, GPT-4) de la lista, y puede seleccionar más de uno para la comparación.
• resultados de carrera (en una carrera)Pulse "Ejecutar" para ver las respuestas de los distintos modelos.
• modificar y sustituirCambia la pregunta si crees que es una mala respuesta y haz clic en "Guardar" cuando estés satisfecho.
• ¿Dónde se utiliza?Es bueno probar qué modelo responde mejor a la pregunta, o afinar la palabra clave para que la respuesta sea más precisa.

2. Construye tu propio flujo de misión

• Proceso de nueva construcciónHaga clic en "Flujos de trabajo", seleccione "Nuevo flujo de trabajo" y elija un tipo (por ejemplo, flujo de preguntas y respuestas).
• cosasIntroduzca la información necesaria, como la dirección de la base de conocimientos o los requisitos de la tarea.
• Pruébalo.Pulse "Prueba" para ver si el resultado es correcto.
• Trabajo en equipoPídele a un compañero que cambie los parámetros juntos y comprueba el efecto.
• guardar y utilizar: Guárdalo cuando esté afinado y podrás llevártelo enseguida.
• ¿Dónde se utiliza?: Adecuado para tareas complejas, como hacer que la IA lea información y responda a preguntas.

3. Comprobar la eficacia del modelo

• empezar a probarHaga clic en "Evaluación" y seleccione "Nueva evaluación".
• subpruebaHerramienta de puntuación: elija una herramienta de puntuación estándar o escriba su propio código de prueba.
• datos en ejecuciónIntroduzca algunas preguntas de prueba, haga clic en "Ejecutar" y aparecerá un informe.
• contratar a alguien para que lo cuideSi quieres comprobarlo manualmente, haz clic en "Eval. humana" y pide a alguien que elija la respuesta.
• a ver cómo salen las cosas: Hay gráficos después de la prueba que te dicen si el modelo es bueno o no.
• ¿Dónde se utiliza?: Bueno para comprobar que el modelo funciona o buscar problemas.

4. Seguimiento de las operaciones

• Dónde buscarToca "Monitorización" para ver cómo funciona la IA.
• Mira los datos.: Poder ver cuánto se ha gastado, a qué velocidad ha funcionado y si ha habido algún error.
• pista de auditoría: Elige una solicitud y mira los detalles de cada petición.
• problema de reparaciónSi algo va mal, haz clic en "Rastrear" para averiguar por qué.
• ¿Cómo se cambia?: Ajusta las palabras clave o los parámetros en función de los datos para que funcione mejor.
• ¿Dónde se utiliza?Es bueno echar un ojo a las cosas después de que se publiquen para asegurarse de que están bien.

consejo

• reticulación: Necesitas tener una red estable cuando lo instales, o la descarga de Docker se atascará.
• ámbito de la propia jurisdicción: Establece permisos para varios usuarios y no dejes que nadie los cambie.
• petición (de ayuda): Consulta la documentación de GitHub si tienes dudas, o pregunta en Slack.

Con estos pasos anteriores, puedes empezar a utilizar Agenta rápidamente, y es fácil afinar las palabras clave, gestionar los modelos y consultar los datos. Tanto si juegas solo como si lo utilizas para un equipo, ahorrarás mucho esfuerzo.