Chatbot Arena (LMSYS): eine wettbewerbsfähige Online-Plattform für das Benchmarking großer Sprachmodelle und den Leistungsvergleich zwischen mehreren Modellen

Allgemeine Einführung

Die LMSYS Org, bekannt als Large Model Systems Organization, ist eine offene Forschungsorganisation, die von Studenten und Dozenten der University of California, Berkeley, in Zusammenarbeit mit der University of California, San Diego und der Carnegie Mellon University gegründet wurde. Ziel der Organisation ist es, große Modelle für alle zugänglich zu machen, indem sie gemeinsam offene Modelle, Datensätze, Systeme und Bewertungsinstrumente entwickelt.

Chatbot Arena ist eine Online-Plattform, die sich auf das Benchmarking und den Vergleich der Leistung verschiedener Large Language Models (LLMs) konzentriert. Die Plattform wurde von Forschern ins Leben gerufen, um Nutzern eine anonyme, randomisierte Umgebung zu bieten, in der sie verschiedene KI-Chatbots Seite an Seite interagieren und bewerten können. Durch detaillierte Qualitäts-, Leistungs- und Preisanalysen hilft Chatbot Arena den Nutzern, die KI-Lösung zu finden, die ihren Bedürfnissen am besten entspricht.

Modell PK: https://lmarena.ai/

Funktionsliste

• Vicuna: ein Chatbot mit der Qualität 90% ChatGPT, erhältlich in den Größen 7B/13B/33B.
• Chatbot Arena: skalierbare und spielerische Bewertung von LLMs durch Crowdsourcing und das Elo-Bewertungssystem.
• SGLang: Effiziente Schnittstelle und Laufzeit für komplexe LLM-Programme.
• LMSYS-Chat-1M: Ein umfangreicher Datensatz mit aktuellen LLM-Dialogen.
• FastChat: eine offene Plattform für die Ausbildung, Bereitstellung und Bewertung von LLM-basierten Chatbots.
•  MT-Bench: ein anspruchsvoller, offener Fragenkatalog mit mehreren Runden zur Bewertung von Chatbots.

Hilfe verwenden

1. Modellvergleich::
   • Besuchen Sie die Seite Modellvergleich.
   • Wählen Sie die Modelle aus, die Sie vergleichen möchten, und klicken Sie auf die Schaltfläche "Zum Vergleich hinzufügen".
   • Zeigen Sie die Vergleichsergebnisse an, einschließlich Qualität, Leistung, Preis und anderer Kriterien.
2. Qualitätskontrolle::
   • Die Ergebnisse der Qualitätstests finden Sie auf der Seite mit den Modelldetails.
   • Informieren Sie sich über die spezifischen Ergebnisse und Platzierungen für verschiedene Testdimensionen.
3. Preisanalyse::
   • Auf der Seite mit den Modelldetails können Sie die Preisanalyse einsehen.
   • Vergleichen Sie die Preise der verschiedenen Modelle, um die kostengünstigste Option zu finden.
4. Leistungsbewertung::
   • Auf der Seite Modelldetails können Sie die Ergebnisse der Leistungsbewertung einsehen.
   • Verstehen Sie die Ausgabegeschwindigkeit des Modells, die Latenzzeit und andere Leistungskennzahlen.
5. Kontextfenster-Analyse::
   • Zeigen Sie auf der Seite Modelldetails die Kontextfensteranalyse an.
   • Verstehen Sie die Größe des Kontextfensters des Modells für verschiedene Anwendungsszenarien.

Anhand dieser Schritte können sich die Benutzer ein umfassendes Bild von der Leistung und den Merkmalen verschiedener großer Sprachmodelle machen und die für ihre Bedürfnisse am besten geeignete Wahl treffen.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>