Okareo: una herramienta de prueba de modelos y control de errores para desarrolladores de IA

Introducción general

Okareo es una plataforma creada para desarrolladores de IA que se centra en ayudar a los usuarios a probar modelos de IA, encontrar errores y mejorar el rendimiento. Proporciona herramientas completas desde la generación de datos hasta la monitorización en tiempo real para grandes modelos de lenguaje (LLM), inteligencias y sistemas de generación aumentada de recuperación (RAG). Los desarrolladores pueden utilizarlo para generar diversos escenarios de prueba, comprobar el rendimiento de los modelos en entornos de producción, identificar rápidamente los problemas y optimizar. okareo hace hincapié en el tiempo real, alerta cuando los modelos presentan errores y admite la colaboración en equipo y los proyectos a gran escala. Con okareo se han generado más de 5 millones de escenarios de prueba, lo que lo hace ideal para equipos de desarrollo que necesitan un sistema de IA fiable.

Lista de funciones

• falso descubrimiento: Detecta problemas en la salida del modelo, como alucinaciones o respuestas inexactas.
• Generación de datos sintéticos: Genere automáticamente diversos datos de prueba que cubran escenarios comunes y extremos.
• seguimiento en tiempo realSeguimiento del comportamiento del modelo en el entorno de producción y emisión de alertas cuando se detectan anomalías.
• evaluación de modelos: Pruebas LLM, inteligencias o RAG rendimiento, generando informes detallados.
• prueba límiteExplorar los límites del modelo a través de escenarios complejos para identificar posibles puntos de fallo.
• Herramientas de optimización: Ajuste de modelos y recuperadores para mejorar el rendimiento específico del dominio.
• Trabajo en equipo: Admite la colaboración entre varias personas para agilizar el proceso de desarrollo.
• Integración CI/CDIncorporación de las pruebas en el proceso de desarrollo de la automatización.

Utilizar la ayuda

El uso de Okareo se divide en dos vías: operaciones web e integración de código. A continuación se detallan los pasos que le ayudarán a ponerse totalmente al día, desde el registro hasta la optimización de su modelo.

Registro e inicio de sesión

entrevistas https://okareo.com/Haz clic en el botón "Empezar gratis". Introduce tu dirección de correo electrónico y tu contraseña para registrarte y, a continuación, haz clic en el enlace para activar tu cuenta cuando recibas el correo electrónico de verificación. Iniciar sesión https://app.okareo.com/vaya a la consola. Aquí es donde se gestiona el proyecto y se ven los resultados.

Obtener la clave API

Después de iniciar sesión, haga clic en "Configuración > Token de API" en la esquina superior derecha para generar una clave, como por ejemplo YOUR_OKAREO_API_KEYEsta clave se utiliza para llamadas de código u operaciones CLI. Esta clave se utiliza para llamadas de código u operaciones CLI y se recomienda guardarla en un lugar seguro.

Instalación de la herramienta CLI

Si desea utilizar Okareo desde la línea de comandos, puede instalar la CLI. en función de su sistema:

• MacOS: Ejecutar curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gzDescomprimir tar -xvf okareo_darwin_arm64.tar.gz.
• Windows (ordenador)Ejecutarlo con PowerShell Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gzDescomprimir tar -xvf okareo_windows_386.tar.gz.
• Linux: Ejecutar curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gzDescomprimir tar -xvf okareo_linux_386.tar.gz.

Tras desembalar el okareo Desplazarse a una ruta del sistema (por ejemplo /usr/local/bin), ejecute okareo -v Comprueba la versión.

Proyecto de inicialización

Vaya al directorio del proyecto en el terminal y ejecútelo:

okareo init

generando .okareo Carpeta, Editar config.ymlRellena:

api_key: YOUR_OKAREO_API_KEY

La inicialización ha concluido y el proyecto está listo.

Generar datos sintéticos

Inicie sesión en el sitio web y seleccione "Synthetic Scenario Copilot". Introduzca el requisito, por ejemplo, "los usuarios se quejan del fallo del producto", haga clic en "Generar" para generar datos de prueba y descargarlos como archivo JSONL:

{"input": "产品坏了怎么办？", "expected_output": "请联系客服申请维修。"}

Modo CLI:

okareo generate --scenario "产品故障投诉" --output test_data.jsonl

Los datos pueden utilizarse para pruebas posteriores.

Registrar y evaluar modelos

Registra el modelo en el SDK de Python e instálalo:

pip install okareo

compilar eval_model.py::

from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])

Una vez ejecutados, los resultados se enlazan a un informe web que muestra la precisión y otras métricas.

Supervisión y alertas en tiempo real

Los agentes son necesarios para la supervisión del entorno de producción. Modificar las llamadas de OpenAI:

from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样？"}]
)

Los datos se registran en la página web de "Monitorización" de Okareo, que muestra el rendimiento en tiempo real y alerta al sistema si se producen alucinaciones o errores.

Escenarios límite de la prueba

Introduzca escenarios complejos en el lado web, como "el usuario hace preguntas 5 veces seguidas y cambia los requisitos", y genere múltiples rondas de datos de diálogo.CLI se ejecuta:

okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl

El modelo se probó con estos datos para comprobar su estabilidad.

Modelos de optimización

El informe de evaluación mostrará problemas, como la recuperación de contenidos irrelevantes. Tras ajustar las palabras clave o afinar el modelo, vuelva a ejecutar la prueba. La web ofrece una función de comparación para ver el efecto de la optimización.

Integración CI/CD

Añadir a GitHub Acciones .github/workflows/okareo.yml::

name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}

Cada pulsación se comprueba automáticamente.

Visualización de resultados y depuración

Iniciar sesión https://app.okareo.com/Si desea ver el informe, puede hacerlo en la sección "Evaluaciones". El informe incluye la puntuación y los detalles de error de cada escenario para facilitar la depuración.

Estos pasos cubren todo el proceso, desde la instalación hasta la optimización, y las instrucciones detalladas facilitan el uso de Okareo.

escenario de aplicación

1. Desarrollar un servicio de atención al cliente inteligente
   Estás creando una IA de atención al cliente y quieres asegurarte de que gestiona las reclamaciones correctamente. Utiliza Okareo para generar escenarios de reclamación, probar y optimizar las respuestas.
2. Creación de aplicaciones RAG
   Su sistema GAR debe garantizar la calidad de la recuperación y la generación, y Okareo puede comprobar la precisión de la recuperación y mejorar el contenido generado.
3. Depuración de las inteligencias complejas
   Usted desarrolla una inteligencia multitarea, y Okareo puede simular escenarios límite para comprobar su robustez.

CONTROL DE CALIDAD

1. ¿Qué temas controla Okareo?
   Detecta problemas como alucinaciones, respuestas inexactas, retrasos, etc. y le alerta en tiempo real durante la producción.
2. ¿Qué modelos lingüísticos son compatibles?
   Compatibilidad con OpenAI, modelos personalizados, etc., siempre que se pueda acceder a ellos a través de la API.
3. ¿Diferencia entre la versión gratuita y la de pago?
   La versión gratuita es adecuada para pruebas a pequeña escala, la versión de pago desbloquea más funciones de generación de datos y supervisión.