Agenta: ein Tool zur Bewertung der Wirksamkeit von in KI-Anwendungen integrierten Stichworten und Modellen

Allgemeine Einführung

Agenta ist ein Open-Source-Tool für die Verwaltung von KI-Modellen, das den Nutzern hilft, auf einfache Weise mit Stichworten zu experimentieren, Modelleffekte zu testen und Läufe zu überwachen. Es eignet sich für Menschen, die schnell KI-Anwendungen entwickeln wollen, und bietet eine einfach zu bedienende Plattform. Sie können damit die Auswirkungen verschiedener Stichworte ausprobieren, die Antworten mehrerer KI-Modelle vergleichen und die Laufzeitdaten der Anwendung, wie z. B. Geschwindigkeit und Kosten, in Echtzeit anzeigen. Agenta unterstützt viele gängige KI-Frameworks, wie z. B. LangChain, und ist sowohl leistungsstark als auch flexibel. Da es quelloffen ist, kann es jeder kostenlos nutzen, und Sie können den Code auf GitHub finden, um Ihre eigenen Änderungen vorzunehmen. Es hat jetzt über 2.1k Likes auf GitHub, was bedeutet, dass es sehr beliebt ist.

Funktionsliste

• Stichwort ExperimentierfeldEingabe von Aufforderungswörtern auf der Webseite, um verschiedene KI-Modelle auszuprobieren und die Ergebnisse zu vergleichen.
• Anpassen des AufgabenablaufsSie können Ihren eigenen KI-Aufgabenablauf erstellen, z. B. indem Sie ein Modell auf der Grundlage von Informationen Fragen beantworten lassen.
• Modell-Effekt-TestDie Verwendung von Werkzeugen zur Überprüfung, wie gut das Modell beantwortet wurde, unterstützt die automatische Bewertung oder die Bitte um Hilfe bei der Überprüfung.
• Unterstützung der manuellen PrüfungKann mit dem Team zusammenarbeiten, um die Antworten der Modelle zu vergleichen und das beste auszuwählen.
• Queue SpeichernSpeichern Sie die bewährten Stichwörter und rufen Sie sie auf, wenn Sie sie brauchen.
• Betriebsüberwachung in EchtzeitSehen Sie, wie viel die KI kostet, wie schnell sie läuft und ob es Probleme gibt.

Hilfe verwenden

Ablauf der Installation

Agenta kann auf Ihrem eigenen Computer installiert und verwendet werden, oder Sie können den Cloud-Service nutzen. Hier sind die Schritte, um es auf Ihrem Computer zu installieren:

1. Vorbereiten der Umgebung
   • Vergewissern Sie sich, dass Ihr Computer über Docker und Docker Compose verfügt, die für die Ausführung von Agenta unerlässlich sind.
   • Linux oder macOS wird bevorzugt, Windows-Benutzer müssen zuerst WSL2 öffnen.
   • Vergewissern Sie sich, dass Python (3.10 oder höher wird empfohlen) und Git installiert sind, Sie werden sie später benötigen.
2. Herunterladen und starten
   • Öffnen Sie ein Terminal und geben Sie den Befehl zum Herunterladen von Agenta ein:

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • Starten Sie dann den Dienst:

     docker compose -f docker-compose.gh.yml up -d
     

   • Warten Sie ein paar Minuten, öffnen Sie Ihren Browser und geben Sie http://localhost:3000und Sie werden die Seite sehen können.
3. Einstellungsmöglichkeiten (optional)
   • Wenn Sie nicht möchten, dass Agenta anonymisierte Daten sammelt, können Sie die agenta-web/.env Datei, setzen Sie die TELEMETRY_TRACKING_ENABLED einrichten als falsch.
   • Benutzer, die die Befehlszeile (CLI) verwenden, können die ~/.agenta/config.tomlEingestellt als telemetry_tracking_enabled = false.
4. Prüfen Sie, ob er eingebaut ist.
   • Wenn Sie die Willkommensseite von Agenta in Ihrem Browser sehen, ist das ein Zeichen für Erfolg.
   • Wenn Sie die Cloud nutzen möchten, erfahren Sie auf der offiziellen Website, wie Sie sich mit AWS oder anderen Cloud-Diensten verbinden können.

Wie die Hauptfunktionen funktionieren

1. stichwortartiges Experimentierfeld

• Wie komme ich rein?Loggen Sie sich bei Agenta ein und tippen Sie im linken Menü auf "Spielplatz".
• StichwortGeben Sie die Wörter, die Sie ausprobieren möchten, in das Feld ein, z. B. "Schreibe einen kurzen Aufsatz".
• ModellWählen Sie das AI-Modell (z. B. GPT-4) aus der Liste aus, und Sie können mehrere Modelle zum Vergleich auswählen.
• Laufergebnisse (in einem Rennen)Tippen Sie auf "Ausführen", um die Antworten der verschiedenen Modelle zu sehen.
• ändern und ersetzenÄndern Sie die Aufforderung, wenn Sie denken, dass sie eine schlechte Antwort ist, und klicken Sie dann auf "Speichern", wenn Sie zufrieden sind.
• Wo wird es verwendet?Es ist gut, auszuprobieren, welches Modell die Frage besser beantwortet, oder das Stichwort abzustimmen, um die Antwort genauer zu machen.

2. einen eigenen Missionsablauf erstellen

• Neuer BauprozessKlicken Sie auf "Workflows", wählen Sie "Neuer Workflow" und wählen Sie einen Typ (z.B. Q&A flow).
• SachenGeben Sie die benötigten Informationen ein, z. B. die Adresse der Wissensdatenbank oder die Anforderungen der Aufgabe.
• Versuchen Sie es.Tippen Sie auf "Test", um zu sehen, ob das Ergebnis korrekt ist.
• TeamarbeitBitten Sie einen Kollegen oder eine Kollegin, die Parameter gemeinsam zu ändern und die Auswirkungen zu beobachten.
• speichern und verwendenSpeichern Sie es, wenn es gestimmt ist, und nehmen Sie es gleich mit.
• Wo wird es verwendet?Geeignet für komplexe Aufgaben, z. B. wenn die KI Informationen lesen und Fragen beantworten soll.

3. die Überprüfung der Wirksamkeit des Modells

• Start der PrüfungKlicken Sie auf "Bewertung" und wählen Sie "Neue Bewertung".
• UntertestungWählen Sie ein handelsübliches Bewertungswerkzeug oder schreiben Sie Ihren eigenen Testcode.
• laufende DatenGeben Sie einige Testfragen ein, klicken Sie auf "Ausführen", und ein Bericht wird angezeigt.
• jemanden einstellen, der sich um sie kümmertWenn Sie manuell prüfen möchten, klicken Sie auf "Human Eval" und bitten Sie jemanden, die Antwort auszuwählen.
• sehen, wie sich die Dinge entwickelnNach dem Test gibt es Diagramme, die Ihnen zeigen, ob das Modell gut ist oder nicht.
• Wo wird es verwendet?Gut, um zu prüfen, ob das Modell funktioniert, oder um nach Problemen zu suchen.

4. die Überwachung der Maßnahmen

• Wo man suchen mussTippen Sie auf "Überwachung", um zu sehen, wie gut die KI funktioniert.
• Sehen Sie sich die Daten an.Die Möglichkeit, zu sehen, wie viel Geld ausgegeben wurde, wie schnell es lief und ob es irgendwelche Fehler gab.
• PrüfpfadWählen Sie eine Anwendung aus und sehen Sie sich die Details der einzelnen Anträge an.
• ReparaturproblemWenn etwas schief geht, klicken Sie auf "Trace", um den Grund dafür herauszufinden.
• Wie kann man es ändern?Tune cue words or parameters based on data to make it better run.
• Wo wird es verwendet?Es ist gut, nach der Veröffentlichung ein Auge darauf zu werfen, um sicherzustellen, dass alles in Ordnung ist.

Tipp

• VernetzungenSie müssen ein stabiles Netzwerk haben, wenn Sie es installieren, sonst bleibt der Docker-Download stecken.
• Umfang der eigenen ZuständigkeitRechte für mehrere Benutzer einrichten und nicht zulassen, dass sie von anderen geändert werden.
• Appell (um Hilfe)Siehe die GitHub-Dokumentation für Fragen, oder fragen Sie auf Slack.

Mit den oben genannten Schritten können Sie schnell mit Agenta arbeiten, und es ist einfach, Stichworte einzustellen, Modelle zu verwalten und Daten zu betrachten. Ganz gleich, ob Sie alleine spielen oder es für ein Team verwenden, Sie werden eine Menge Arbeit sparen.