Okareo: ein Tool für Modelltests und Fehlerüberwachung für KI-Entwickler

Allgemeine Einführung

Okareo ist eine Plattform für KI-Entwickler, die sich darauf konzentriert, Nutzern beim Testen von KI-Modellen zu helfen, Fehler zu finden und die Leistung zu verbessern. Sie bietet komplette Werkzeuge von der Datengenerierung bis zur Echtzeitüberwachung für große Sprachmodelle (LLMs), Intelligenzen und Retrieval Augmented Generation (RAG) Systeme. Entwickler können damit diverse Testszenarien generieren, die Modellleistung in Produktionsumgebungen überprüfen, Probleme schnell erkennen und optimieren. Okareo setzt auf Echtzeit, warnt, wenn Modelle fehlerhaft sind, und unterstützt die Zusammenarbeit im Team und große Projekte. Mehr als 5 Millionen Testszenarien wurden mit Okareo generiert, was es ideal für Entwicklungsteams macht, die ein zuverlässiges KI-System benötigen.

Funktionsliste

• falsche EntdeckungErkennen von Problemen in der Modellausgabe, z. B. Halluzinationen oder ungenaue Antworten.
• Erzeugung synthetischer DatenAutomatisch verschiedene Testdaten generieren, die allgemeine und extreme Szenarien abdecken.
• Echtzeit-ÜberwachungVerfolgen des Modellverhaltens in der Produktionsumgebung und Auslösen von Warnungen, wenn Anomalien entdeckt werden.
• ModellierungsbewertungTests LLMs, Intelligenzen, oder RAG Leistung und erstellt detaillierte Berichte.
• GrenzwertprüfungAusloten der Grenzen des Modells anhand komplexer Szenarien, um potenzielle Schwachstellen zu ermitteln.
• OptimierungswerkzeugeAnpassung von Modellen und Retrievern zur Verbesserung der domänenspezifischen Leistung.
• TeamarbeitUnterstützung der Zusammenarbeit mehrerer Personen zur Rationalisierung des Entwicklungsprozesses.
• CI/CD-IntegrationTesten in die Entwicklungspipeline der Automatisierung einbetten.

Hilfe verwenden

Die Nutzung von Okareo lässt sich in zwei Bereiche aufteilen: Weboperationen und Code-Integration. Nachfolgend finden Sie detaillierte Schritte, die Ihnen helfen, von der Registrierung bis zur Optimierung Ihres Modells alles in Gang zu bringen.

Registrieren & Anmelden

Interviews https://okareo.com/Klicken Sie auf die Schaltfläche "Get Started for Free". Geben Sie Ihre E-Mail-Adresse und Ihr Passwort ein, um sich zu registrieren. Klicken Sie dann auf den Link, um Ihr Konto zu aktivieren, sobald Sie die Bestätigungs-E-Mail erhalten haben. Anmelden https://app.okareo.com/rufen Sie die Konsole auf. Hier können Sie Ihr Projekt verwalten und die Ergebnisse einsehen.

Abrufen des API-Schlüssels

Klicken Sie nach dem Einloggen auf "Einstellungen > API Token" in der oberen rechten Ecke, um einen Schlüssel zu generieren, z. B. YOUR_OKAREO_API_KEYDieser Schlüssel wird für Codeaufrufe oder CLI-Vorgänge verwendet. Dieser Schlüssel wird für Codeaufrufe oder CLI-Vorgänge verwendet und sollte an einem sicheren Ort aufbewahrt werden.

Installieren des CLI-Tools

Wenn Sie Okareo von der Kommandozeile aus bedienen wollen, können Sie das CLI installieren. je nach System:

• MacOS: Lauf curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gzEntpacken tar -xvf okareo_darwin_arm64.tar.gz.
• Windows (Computer)Ausführen mit PowerShell Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gzEntpacken tar -xvf okareo_windows_386.tar.gz.
• Linux: Lauf curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gzEntpacken tar -xvf okareo_linux_386.tar.gz.

Nach dem Auspacken der okareo Wechseln Sie zu einem Systempfad (z. B. /usr/local/bin), laufen okareo -v Überprüfen Sie die Version.

Initialisierungsprojekt

Wechseln Sie im Terminal in das Projektverzeichnis und führen Sie es aus:

okareo init

Erzeugung von .okareo Ordner, Bearbeiten config.ymlAusfüllen:

api_key: YOUR_OKAREO_API_KEY

Die Initialisierung ist abgeschlossen und das Projekt ist bereit.

Synthetische Daten generieren

Melden Sie sich auf der Website an und wählen Sie "Synthetic Scenario Copilot". Geben Sie die Anforderung ein, z. B. "Benutzer beschweren sich über Produktfehler", klicken Sie auf "Generieren", um Testdaten zu erzeugen und als JSONL-Datei herunterzuladen:

{"input": "产品坏了怎么办？", "expected_output": "请联系客服申请维修。"}

CLI-Modus:

okareo generate --scenario "产品故障投诉" --output test_data.jsonl

Die Daten können für weitere Tests verwendet werden.

Modelle registrieren und bewerten

Registrieren Sie das Modell mit dem Python SDK und installieren Sie es:

pip install okareo

kompilieren eval_model.py::

from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])

Nach der Ausführung werden die Ergebnisse mit einem Webbericht verlinkt, der die Genauigkeit und andere Metriken anzeigt.

Überwachung und Warnmeldungen in Echtzeit

Agenten sind für die Überwachung der Produktionsumgebung erforderlich. Ändern Sie OpenAI-Aufrufe:

from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样？"}]
)

Die Daten werden auf der webbasierten "Monitoring"-Seite von Okareo aufgezeichnet, die die Leistung in Echtzeit anzeigt und das System warnt, wenn Halluzinationen oder Fehler auftauchen.

Test-Rahmenszenarien

Geben Sie komplexe Szenarien auf der Web-Seite ein, wie z.B. "Benutzer stellt fünfmal hintereinander Fragen und ändert die Anforderungen", und erzeugen Sie mehrere Runden von Dialogdaten.CLI-Läufen:

okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl

Das Modell wurde mit diesen Daten getestet, um seine Stabilität zu überprüfen.

Optimierungsmodelle

Der Bewertungsbericht wird Probleme aufzeigen, z. B. das Abrufen irrelevanter Inhalte. Nach der Anpassung der Stichworte oder der Feinabstimmung des Modells führen Sie den Test erneut durch. Die Webseite bietet eine Vergleichsfunktion, mit der Sie die Auswirkungen der Optimierung sehen können.

CI/CD-Integration

Zu GitHub-Aktionen hinzufügen .github/workflows/okareo.yml::

name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}

Jeder Push wird automatisch getestet.

Anzeigen von Ergebnissen und Debugging

sich anmelden https://app.okareo.com/Wenn Sie sich den Bericht ansehen möchten, können Sie dies im Abschnitt "Auswertungen" tun. Der Bericht enthält Punkte- und Fehlerdetails für jedes Szenario, um die Fehlersuche zu erleichtern.

Diese Schritte decken den gesamten Prozess von der Installation bis zur Optimierung ab, und die detaillierten Anleitungen machen es einfach, Okareo zu benutzen.

Anwendungsszenario

1. Entwicklung eines intelligenten Kundendienstes
   Sie bauen eine KI für den Kundenservice auf und möchten sicherstellen, dass sie Beschwerden korrekt bearbeitet. Nutzen Sie Okareo, um Beschwerdeszenarien zu erstellen, zu testen und die Antworten zu optimieren.
2. Aufbau von RAG-Anwendungen
   Ihr RAG-System muss die Qualität des Abrufs und der Generierung sicherstellen, und Okareo kann die Genauigkeit des Abrufs prüfen und die generierten Inhalte verbessern.
3. Fehlersuche bei komplexen Intelligenzen
   Sie entwickeln eine Multitasking-Intelligenz, und Okareo kann Grenzszenarien simulieren, um ihre Robustheit zu überprüfen.

QA

1. Welche Themen werden von Okareo überwacht?
   Es erkennt Probleme wie Halluzinationen, ungenaue Antworten, Verzögerungen usw. und warnt Sie in Echtzeit während der Produktion.
2. Welche Sprachmodelle werden unterstützt?
   Unterstützung für OpenAI, benutzerdefinierte Modelle usw., sofern sie über die API zugänglich sind.
3. Unterschied zwischen kostenloser und kostenpflichtiger Version?
   Die kostenlose Version eignet sich für Tests in kleinem Umfang, die kostenpflichtige Version schaltet weitere Datengenerierungs- und Überwachungsfunktionen frei.