Okareo: uma ferramenta para teste de modelos e monitoramento de erros para desenvolvedores de IA

Introdução geral

A Okareo é uma plataforma criada para desenvolvedores de IA que se concentra em ajudar os usuários a testar modelos de IA, encontrar bugs e melhorar o desempenho. Ela fornece ferramentas completas, desde a geração de dados até o monitoramento em tempo real de grandes modelos de linguagem (LLMs), inteligências e sistemas de geração aumentada de recuperação (RAG). Os desenvolvedores podem usá-lo para gerar diversos cenários de teste, verificar o desempenho do modelo em ambientes de produção, identificar rapidamente os problemas e otimizá-lo. O Okareo enfatiza o tempo real, alerta quando os modelos estão com erros e oferece suporte à colaboração em equipe e a projetos de grande escala. Mais de 5 milhões de cenários de teste foram gerados com o Okareo, tornando-o ideal para equipes de desenvolvimento que precisam de um sistema de IA confiável.

Lista de funções

• descoberta falsaDetectar problemas na saída do modelo, como alucinações ou respostas imprecisas.
• Geração de dados sintéticosGeração automática de diversos dados de teste que abrangem cenários comuns e extremos.
• monitoramento em tempo realRastreie o comportamento do modelo no ambiente de produção e gere alertas quando forem detectadas anomalias.
• avaliação de modelagemTestes de LLMs, inteligências ou RAG desempenho, gerando relatórios detalhados.
• teste de limiteExplore os limites do modelo por meio de cenários complexos para identificar possíveis pontos de falha.
• Ferramentas de otimizaçãoAjuste de modelos e recuperadores para melhorar o desempenho específico do domínio.
• Trabalho em equipeSuporte à colaboração entre várias pessoas para otimizar o processo de desenvolvimento.
• Integração CI/CDIncorporação de testes no pipeline de desenvolvimento de automação.

Usando a Ajuda

O uso do Okareo é dividido em duas formas: operações na web e integração de código. Abaixo estão as etapas detalhadas para ajudá-lo a se familiarizar com a velocidade do registro até a otimização do seu modelo.

Registro e login

entrevistas https://okareo.com/Clique no botão "Get Started for Free". Digite seu endereço de e-mail e senha para se registrar e, em seguida, clique no link para ativar sua conta assim que receber o e-mail de verificação. Entrar https://app.okareo.com/vá para o console. É aqui que você gerencia seu projeto e visualiza os resultados.

Obtendo a chave da API

Depois de fazer login, clique em "Settings > API Token" (Configurações > Token de API) no canto superior direito para gerar uma chave, como YOUR_OKAREO_API_KEYEssa chave é usada para chamadas de código ou operações de CLI. Essa chave é usada para chamadas de código ou operações de CLI e recomenda-se que seja mantida em um local seguro.

Instalação da ferramenta CLI

Se quiser operar o Okareo a partir da linha de comando, você pode instalar a CLI, dependendo do seu sistema:

• MacOS: Executar curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gzDescompactar tar -xvf okareo_darwin_arm64.tar.gz.
• Windows (computador)Execute-o com o PowerShell Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gzDescompactar tar -xvf okareo_windows_386.tar.gz.
• Linux: Executar curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gzDescompactar tar -xvf okareo_linux_386.tar.gz.

Depois de desembalar o okareo Ir para um caminho do sistema (por exemplo /usr/local/bin), execute okareo -v Verifique a versão.

Projeto de inicialização

Vá para o diretório do projeto no terminal e execute-o:

okareo init

gerando .okareo Pasta, Editar config.ymlPreencher:

api_key: YOUR_OKAREO_API_KEY

A inicialização foi concluída e o projeto está pronto.

Gerar dados sintéticos

Faça login no site e selecione "Synthetic Scenario Copilot". Insira o requisito, por exemplo, "usuários reclamam da falha do produto", clique em "Generate" (Gerar) para gerar dados de teste e baixá-los como arquivo JSONL:

{"input": "产品坏了怎么办？", "expected_output": "请联系客服申请维修。"}

Modo CLI:

okareo generate --scenario "产品故障投诉" --output test_data.jsonl

Os dados podem ser usados para testes subsequentes.

Registre e avalie modelos

Registre o modelo com o Python SDK e instale-o:

pip install okareo

compilar eval_model.py::

from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])

Depois de executados, os resultados são vinculados a um relatório da Web que mostra a precisão e outras métricas.

Monitoramento e alertas em tempo real

Os agentes são necessários para o monitoramento do ambiente de produção. Modificar as chamadas do OpenAI:

from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样？"}]
)

Os dados são registrados na página de "Monitoramento" baseada na Web do Okareo, que mostra o desempenho em tempo real e alerta o sistema se houver alucinações ou erros.

Cenários de limite de teste

Insira cenários complexos no lado da Web, como "o usuário faz perguntas 5 vezes seguidas e altera os requisitos", e gere várias rodadas de dados de diálogo:

okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl

O modelo foi testado com esses dados para verificar sua estabilidade.

Modelos de otimização

O relatório de avaliação mostrará problemas, como a recuperação de conteúdo irrelevante. Depois de ajustar as palavras-chave ou fazer o ajuste fino do modelo, execute o teste novamente. O lado da Web fornece uma função de comparação para ver o efeito da otimização.

Integração CI/CD

Adicionar às ações do GitHub .github/workflows/okareo.yml::

name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}

Cada impulso é testado automaticamente.

Exibição de resultados e depuração

entrar https://app.okareo.com/Se quiser visualizar o relatório, você pode fazê-lo na seção "Evaluations" (Avaliações). O relatório inclui detalhes de pontuação e erro de cada cenário para facilitar a depuração.

Essas etapas abrangem todo o processo, desde a instalação até a otimização, e as instruções detalhadas facilitam o uso do Okareo.

cenário do aplicativo

1. Desenvolvimento de um atendimento inteligente ao cliente
   Você está criando uma IA de atendimento ao cliente e quer ter certeza de que ela lida com as reclamações corretamente. Use o Okareo para gerar cenários de reclamações, testar e otimizar as respostas.
2. Criação de aplicativos RAG
   Seu sistema RAG precisa garantir a qualidade da recuperação e da geração, e o Okareo pode testar a precisão da recuperação e melhorar o conteúdo gerado.
3. Depuração de inteligências complexas
   Você desenvolve uma inteligência multitarefa, e o Okareo pode simular cenários de limite para verificar sua robustez.

QA

1. Quais problemas são monitorados pela Okareo?
   Ele detecta problemas como alucinações, respostas imprecisas, atrasos, etc. e o alerta em tempo real durante a produção.
2. Quais modelos de idioma são compatíveis?
   Suporte para OpenAI, modelos personalizados, etc., desde que possam ser acessados via API.
3. Qual é a diferença entre a versão gratuita e a versão paga?
   A versão gratuita é adequada para testes em pequena escala; a versão paga desbloqueia mais recursos de geração de dados e monitoramento.