Okareo : un outil de test de modèles et de surveillance des erreurs pour les développeurs d'IA
Introduction générale
Okareo est une plateforme conçue pour les développeurs d'IA qui aide les utilisateurs à tester les modèles d'IA, à trouver les bogues et à améliorer les performances. Elle fournit des outils complets, de la génération de données à la surveillance en temps réel, pour les grands modèles de langage (LLM), les intelligences et les systèmes de génération augmentée de recherche (RAG). Les développeurs peuvent l'utiliser pour générer divers scénarios de test, vérifier les performances des modèles dans les environnements de production, identifier rapidement les problèmes et les optimiser. Okareo met l'accent sur le temps réel, les alertes lorsque les modèles sont en erreur, et prend en charge la collaboration en équipe et les projets à grande échelle. Plus de 5 millions de scénarios de test ont été générés avec Okareo, ce qui en fait un outil idéal pour les équipes de développement qui ont besoin d'un système d'IA fiable.

Liste des fonctions
- fausse découverteDétecter les problèmes dans les résultats du modèle, tels que les hallucinations ou les réponses inexactes.
- Génération de données synthétiquesLes tests d'efficacité : Générer automatiquement des données de test diverses couvrant des scénarios courants et extrêmes.
- suivi en temps réelLes modèles d'évaluation : Suivre le comportement du modèle dans l'environnement de production et déclencher des alertes lorsque des anomalies sont détectées.
- évaluation de la modélisationLes tests LLM, les intelligences, ou RAG et de générer des rapports détaillés.
- test de délimitationLes limites du modèle : explorer les limites du modèle à travers des scénarios complexes afin d'identifier les points de défaillance potentiels.
- Outils d'optimisationLa recherche d'informations sur la santé : Ajuster les modèles et les extracteurs pour améliorer les performances spécifiques à un domaine.
- Travail d'équipeLe système de gestion de l'information : Il permet une collaboration entre plusieurs personnes afin de rationaliser le processus de développement.
- Intégration CI/CDLes tests sont intégrés dans le pipeline de développement de l'automatisation.
Utiliser l'aide
L'utilisation d'Okareo se divise en deux parties : les opérations web et l'intégration du code. Vous trouverez ci-dessous les étapes détaillées qui vous aideront à vous familiariser avec l'outil, de l'enregistrement à l'optimisation de votre modèle.
S'inscrire et se connecter
entretiens https://okareo.com/
Cliquez sur le bouton "Get Started for Free". Saisissez votre adresse électronique et votre mot de passe pour vous inscrire, puis cliquez sur le lien pour activer votre compte une fois que vous aurez reçu l'e-mail de vérification. S'identifier https://app.okareo.com/
, vous accédez à la console. C'est là que vous gérez votre projet et que vous visualisez les résultats.
Obtenir la clé API
Après vous être connecté, cliquez sur "Settings > API Token" dans le coin supérieur droit pour générer une clé, par exemple YOUR_OKAREO_API_KEY
Cette clé est utilisée pour les appels de code ou les opérations de l'interface de programmation. Cette clé est utilisée pour les appels de code ou les opérations CLI et il est recommandé de la conserver dans un endroit sûr.
Installation de l'outil CLI
Si vous souhaitez utiliser Okareo à partir de la ligne de commande, vous pouvez installer le CLI, en fonction de votre système :
- MacOS: Run
curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gz
Décompressertar -xvf okareo_darwin_arm64.tar.gz
. - Windows (ordinateur)L'exécution : Exécutez-la avec PowerShell
Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gz
Décompressertar -xvf okareo_windows_386.tar.gz
. - Linux: Run
curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
Décompressertar -xvf okareo_linux_386.tar.gz
.
Après avoir déballé le okareo
Passer à un chemin d'accès au système (par ex. /usr/local/bin
), exécuter okareo -v
Vérifier la version.
Projet d'initialisation
Allez dans le répertoire du projet dans le terminal et exécutez le programme :
okareo init
générant .okareo
Dossier, Modifier config.yml
Remplir :
api_key: YOUR_OKAREO_API_KEY
L'initialisation est terminée et le projet est prêt.
Générer des données synthétiques
Connectez-vous au site web et sélectionnez "Synthetic Scenario Copilot". Saisissez l'exigence, par exemple "les utilisateurs se plaignent d'une défaillance du produit", cliquez sur "Générer" pour générer des données de test et les télécharger sous forme de fichier JSONL :
{"input": "产品坏了怎么办?", "expected_output": "请联系客服申请维修。"}
Mode CLI :
okareo generate --scenario "产品故障投诉" --output test_data.jsonl
Les données peuvent être utilisées pour des tests ultérieurs.
Enregistrer et évaluer les modèles
Enregistrer le modèle auprès du SDK Python et l'installer :
pip install okareo
compiler eval_model.py
: :
from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])
Une fois exécutés, les résultats renvoient à un rapport web indiquant la précision et d'autres paramètres.
Surveillance et alertes en temps réel
Les agents sont nécessaires pour la surveillance de l'environnement de production. Modifier les appels OpenAI :
from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样?"}]
)
Les données sont enregistrées sur la page web "Monitoring" d'Okareo, qui affiche les performances en temps réel et alerte le système en cas d'hallucinations ou d'erreurs.
Scénarios de limites de test
Saisissez des scénarios complexes du côté web, tels que "l'utilisateur pose des questions 5 fois de suite et modifie les exigences", et générez plusieurs séries de données de dialogue :
okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl
Le modèle a été testé avec ces données pour vérifier sa stabilité.
Modèles d'optimisation
Le rapport d'évaluation fera apparaître des problèmes, tels que l'extraction d'un contenu non pertinent. Après avoir ajusté les mots-guides ou affiné le modèle, relancez le test. La partie web fournit une fonction de comparaison pour voir l'effet de l'optimisation.
Intégration CI/CD
Ajouter aux actions GitHub .github/workflows/okareo.yml
: :
name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}
Chaque poussée est automatiquement testée.
Visualisation des résultats et débogage
s'inscrire https://app.okareo.com/
Si vous souhaitez consulter le rapport, vous pouvez le faire dans la section "Evaluations". Le rapport comprend le score et les détails de l'erreur pour chaque scénario afin de faciliter le débogage.
Ces étapes couvrent l'ensemble du processus, de l'installation à l'optimisation, et les instructions détaillées facilitent l'utilisation d'Okareo.
scénario d'application
- Développer un service client intelligent
Vous construisez une IA de service client et vous voulez vous assurer qu'elle traite correctement les réclamations. Utilisez Okareo pour générer des scénarios de réclamation, tester et optimiser les réponses. - Création d'applications RAG
Votre système RAG doit garantir la qualité de l'extraction et de la génération, et Okareo peut tester la précision de l'extraction et améliorer le contenu généré. - Déboguer les intelligences complexes
Vous développez une intelligence multitâche, et Okareo peut simuler des scénarios limites pour vérifier sa robustesse.
QA
- Quelles sont les questions suivies par Okareo ?
Il détecte les problèmes tels que les hallucinations, les réponses inexactes, les retards, etc. et vous alerte en temps réel pendant la production. - Quels sont les modèles linguistiques pris en charge ?
Prise en charge de l'OpenAI, des modèles personnalisés, etc., pour autant qu'ils soient accessibles via l'API. - Différence entre la version gratuite et la version payante ?
La version gratuite est adaptée aux tests à petite échelle, tandis que la version payante permet d'accéder à davantage de fonctionnalités de génération de données et de suivi.
© déclaration de droits d'auteur
Article copyright Cercle de partage de l'IA Tous, prière de ne pas reproduire sans autorisation.
Articles connexes
Pas de commentaires...