Athina AI: Visualisierung des Code-Ausführungsflusses für die Entwicklung und Fehlersuche bei KI-Anwendungen

Allgemeine Einführung

Athina AI ist eine kollaborative KI-Entwicklungsplattform, die Teams bei der schnellen Erstellung, Prüfung und Überwachung von KI-Funktionen unterstützt. Athina AI unterstützt sowohl technische als auch nicht-technische Benutzer bei der gemeinsamen Arbeit, rationalisiert den Entwicklungsprozess von KI-Anwendungen und ermöglicht es Teams, KI-Anwendungen schneller in Produktionsumgebungen zu übertragen.

Funktionsliste

• Auswertung des DatensatzesSchnelles Auswerten von Datensätzen mit mehr als 50 voreingestellten Auswertungen oder Konfigurieren benutzerdefinierter Auswertungen.
• Queue-VerwaltungSchnelles Iterieren von Prompts, Testen verschiedener Modelle, Vergleichen von Antworten und Verwalten von Prompts mithilfe der integrierten Versionskontrolle und Bereitstellungsfunktionen.
• DatenkommentarKennzeichnung und Verwaltung von Datensätzen mit LLM-gesteuerten Arbeitsabläufen zur Unterstützung der Zusammenarbeit von Annotationsteams.
• Experimentelles ManagementEvaluierungen in Entwicklungs-, CI/CD- oder Produktionsumgebungen durchführen, um Regressionen automatisch zu erkennen und zu beheben.
• BeobachtbarkeitUmfassende Überwachung der LLM-Nutzung, der Bewertungsergebnisse und der Nutzungsmetriken, um die Zuverlässigkeit von KI-Anwendungen zu gewährleisten.
• StrommanagementErstellung komplexer Pipelines durch Verknüpfung von Hinweisen, API-Aufrufen, Suchvorgängen, Codefunktionen und mehr.
• Selbstgehostete BereitstellungVollständiger Einsatz von Athina in Ihrer eigenen VPC, um Datenschutz und Sicherheit zu gewährleisten.

Hilfe verwenden

Einbauverfahren

Athina AI unterstützt die selbst gehostete Bereitstellung, wodurch Benutzer Athina vollständig in ihrer eigenen VPC bereitstellen können, um Datenschutz und Sicherheit zu gewährleisten. Nachfolgend finden Sie den Installationsprozess:

1. Athina herunterladenBesuchen Sie die Athina-Website, um die neueste Version des Athina-Installationsprogramms herunterzuladen.
2. Konfiguration der UmgebungKonfigurieren Sie die erforderlichen Umgebungsvariablen und Abhängigkeiten gemäß der auf der offiziellen Website bereitgestellten Dokumentation.
3. Einsatz von AthinaFühren Sie das Installationspaket aus und folgen Sie den Anweisungen, um den Installationsprozess abzuschließen.
4. ZugangsplattformenNach der Bereitstellung können Sie über Ihren Browser auf die Athina-Plattform zugreifen und loslegen.

Leitlinien für die Verwendung

Auswertung des Datensatzes

1. Hochladen von DatensätzenHochladen des zu bewertenden Datensatzes auf die Plattform.
2. Auswahl der BewertungskriterienWählen Sie voreingestellte Bewertungskriterien oder konfigurieren Sie eigene Bewertungskriterien.
3. Operative BewertungKlicken Sie auf die Schaltfläche "Run Assessment" (Bewertung durchführen) und die Plattform wird den Datensatz automatisch bewerten und einen Bewertungsbericht erstellen.

Queue-Verwaltung

1. Einen Tipp erstellenErstellen Sie neue Prompts im Modul Prompt Management.
2. Test-TippsWählen Sie verschiedene Modelle aus, geben Sie Eingabeaufforderungen ein und testen Sie die Reaktion des Modells.
3. Vergleichende AntwortVergleichen Sie die Antworten der verschiedenen Modelle und wählen Sie den besten Hinweis.
4. VersionskontrolleVerwaltung verschiedener Versionen eines Prompts mit Hilfe der integrierten Versionskontrolle.
5. Tipps für den EinsatzBereitstellung von Prompts in Produktionsumgebungen und Überwachung der Wirksamkeit der Prompts in Echtzeit.

Datenkommentar

1. Erstellen von AnmerkungsaufgabenErstellen Sie eine neue Anmerkungsaufgabe im Modul Datenanmerkung.
2. etw. in Angriff nehmenAnmerkung: Weisen Sie den Mitgliedern des Anmerkungsteams Anmerkungsaufgaben zu.
3. KennzeichnungsdatenAnnotation: Die Mitglieder des Annotationsteams annotieren Daten mit LLM-gesteuerten Arbeitsabläufen.
4. Überprüfung der KennzeichnungsergebnisseÜberprüfen Sie die Kennzeichnungsergebnisse, um die Datenqualität zu gewährleisten.

Experimentelles Management

1. Ein Experiment erstellenErstellen Sie neue Experimente im Modul Experiment Management.
2. Konfigurieren der VersuchsparameterKonfigurieren Sie die Parameter und Bewertungskriterien des Experiments.
3. laufendes ExperimentKlicken Sie auf die Schaltfläche "Experiment ausführen". Die Plattform führt das Experiment automatisch aus und erstellt einen Experimentbericht.
4. Analyse der VersuchsergebnisseAnalyse der Versuchsergebnisse zur Optimierung von Modellen und Hinweisen.

Beobachtbarkeit

1. Überwachung der LLM-NutzungLLM-Nutzung und Bewertungsergebnisse im Beobachtungsmodul anzeigen.
2. Alarme einstellenKonfigurieren Sie Warnregeln, um die Leistung von KI-Anwendungen in Echtzeit zu überwachen.
3. Ansicht LogDetaillierte Protokollmeldungen anzeigen, um zu sehen, wie die einzelnen Schritte ausgeführt wurden.