Im Bereich der künstlichen Intelligenz verändert sich die Technologie der Large Language Modelling (LLM) schnell und es entstehen verschiedene Werkzeugbibliotheken. Um Entwicklern zu helfen, die Herausforderungen der LLM-Entwicklung besser zu meistern, stellt dieses Papier eine Toolbox mit mehr als 120 nützlichen LLM-Bibliotheken zusammen, die nach funktionalen Kategorien unterteilt sind, damit Ingenieure sie schnell finden und anwenden können.
Schnelle Navigation
Um den Lesern das schnelle Auffinden der benötigten Ressourcen zu erleichtern, finden Sie hier Kurzlinks zu den Toolbibliotheken der einzelnen Kategorien:
| 🚀 LLM-Ausbildung und Feinabstimmung | 🧱 LLM-Anwendungsentwicklung | 🩸 Erzeugung von LLM-Abrufverbesserungen (RAG) |
| 🟩 LLM Argumentation | 🚧 LLM-Dienst-Bereitstellung | 📤 LLM-Datenextraktion |
| 🌠 Erzeugung von LLM-Daten | 💎 LLM Intelligenter Körper | ⚖️ LLM-Bewertung |
| 🔍 LLM-Überwachung und -Kontrolle | 📅 LLM Prompt Word Engineering | 📝 LLM Strukturierte Ausgabe |
| 🛑 LLM Sicherheit | 💠 Eingebettetes LLM-Modell | ❇️ Sonstiges |
LLM-Ausbildung und Feinabstimmung
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| unsloth | Schnellere Feinabstimmung des LLM mit weniger Speicher. | Link (auf einer Website) |
| PEFT | Erweiterte parametrisierte Bibliothek für die Feinabstimmung. | Link (auf einer Website) |
| TRL | Training mit Verstärkungslernen Transformator Sprachmodellierung. | Link (auf einer Website) |
| Transformatoren | Transformers bietet Tausende von vortrainierten Modellen für die Durchführung von Aufgaben in verschiedenen Modalitäten wie Text, Vision und Audio. | Link (auf einer Website) |
| Axolotl | Tools zur Vereinfachung des Post-Trainings verschiedener KI-Modelle. | Link (auf einer Website) |
| LLMBox | Eine umfassende LLM-Bibliothek, einschließlich einer vereinheitlichten Trainingspipeline und einer umfassenden Modellbewertung. | Link (auf einer Website) |
| LitGPT | Schnelles Training und Feinabstimmung des LLM. | Link (auf einer Website) |
| Mergoo | Eine Bibliothek zur einfachen Zusammenführung mehrerer LLM-Experten und zum effizienten Training des zusammengeführten LLM. | Link (auf einer Website) |
| Llama-Fabrik | Einfaches und effizientes LLM-Feinabstimmungswerkzeug. | Link (auf einer Website) |
| Ludwig | Low-Code-Framework zur Erstellung benutzerdefinierter LLMs, neuronaler Netze und anderer KI-Modelle. | Link (auf einer Website) |
| Txtinstruct | Ein Rahmen für die Schulung von Modellen zur Abstimmung von Anweisungen. | Link (auf einer Website) |
| Lamini | Eine integrierte LLM-Inferenz- und Tuning-Plattform. | Link (auf einer Website) |
| XTuring | XTuring ermöglicht eine schnelle, effiziente und einfache Feinabstimmung von Open Source LLMs wie Mistral, LLaMA, GPT-J und anderen. | Link (auf einer Website) |
| RL4LMs | Eine modulare RL-Bibliothek zur Feinabstimmung von Sprachmodellen auf menschliche Präferenzen. | Link (auf einer Website) |
| DeepSpeed | DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die verteiltes Training und Inferenz einfach, effizient und effektiv macht. | Link (auf einer Website) |
| torchtune | Eine PyTorch-eigene Bibliothek, die speziell für die Feinabstimmung von LLM entwickelt wurde. | Link (auf einer Website) |
| PyTorch Blitzschlag | Eine Bibliothek, die eine High-Level-Schnittstelle für das Vortraining und die Feinabstimmung von LLMs bietet. | Link (auf einer Website) |
LLM-Anwendungsentwicklung
Abb. Muster
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| LangChain | LangChain ist ein Framework für die Entwicklung von Anwendungen, die auf dem Large Language Model (LLM) basieren. | Link (auf einer Website) |
| Lama-Index | LlamaIndex ist der Datenrahmen für LLM-Anwendungen. | Link (auf einer Website) |
| Heuhaufen | Haystack ist ein End-to-End-LLM-Framework, mit dem Benutzer Anwendungen erstellen können, die von LLM, Transformer-Modellen, Vektorsuche und mehr gesteuert werden. | Link (auf einer Website) |
| Zeitnaher Fluss | Eine Reihe von Entwicklungswerkzeugen zur Vereinfachung des gesamten Entwicklungszyklus von LLM-basierten KI-Anwendungen. | Link (auf einer Website) |
| Griptape | Ein modulares Python-Framework zur Entwicklung von KI-gesteuerten Anwendungen. | Link (auf einer Website) |
| Weben | Weave ist ein Toolkit für die Entwicklung generativer KI-Anwendungen. | Link (auf einer Website) |
| Lama-Stapel | Erstellen Sie die Llama-App. | Link (auf einer Website) |
Mehrfacher API-Zugang
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| LiteLLM | Eine Bibliothek mit über 100 LLM-API-Aufrufen im OpenAI-Format. | Link (auf einer Website) |
| AI-Gateway | Ein schnelles KI-Gateway mit integriertem Zaun. Leitet zu 200+ LLMs, 50+ KI-Zäunen über 1 schnelle und freundliche API. | Link (auf einer Website) |
Router (Datenverarbeitung)
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| RouteLLM | Framework zur Wartung und Evaluierung von LLM-Routern - Einsparung von LLM-Kosten ohne Qualitätseinbußen Direkter Ersatz für OpenAI-Clients zur Weiterleitung einfacherer Anfragen an kostengünstigere Modelle. | Link (auf einer Website) |
Auswendiglernen
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| mem0 | Speicherschicht für KI-Anwendungen. | Link (auf einer Website) |
| Memoripy | Eine KI-Speicherschicht mit Kurz- und Langzeitspeicher, semantischem Clustering und optionalem Speicherabbau für kontextabhängige Anwendungen. | Link (auf einer Website) |
Schnittstellen
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Streamlit | Mit Streamlit können Benutzer Python-Skripte in wenigen Minuten in interaktive Webanwendungen verwandeln. | Link (auf einer Website) |
| Gradio | Erstellen und teilen Sie ansprechende Anwendungen für maschinelles Lernen in Python. | Link (auf einer Website) |
| AI SDK UI | Aufbau von Chats und generativen Benutzeroberflächen. | Link (auf einer Website) |
| AI-Radio | Erstellen Sie KI-Anwendungen, die von einer Vielzahl von KI-Anbietern unterstützt werden. | Link (auf einer Website) |
| Simpleaichat | Python-Pakete für die einfache Interaktion mit Chat-Anwendungen mit leistungsstarken Funktionen und minimaler Code-Komplexität. | Link (auf einer Website) |
| Chainlit | Erstellen Sie in Minutenschnelle produktionsreife KI-Apps für Konversationen. | Link (auf einer Website) |
niedriger Code
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| LangFlow | LangFlow ist ein Low-Code-Anwendungsprogramm für RAG- und Multi-Agenten-KI-Anwendungen. Er basiert auf Python und ist unabhängig von Modellen, APIs oder Datenbanken. | Link (auf einer Website) |
(Rechen-)Cache
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| GPTCache | Eine Bibliothek zur Erstellung semantischer Caches für LLM-Abfragen. Reduziert die Kosten der LLM-API um das 10-fache💰 und erhöht die Geschwindigkeit um das 100-fache. Vollständig integriert mit LangChain und LlamaIndex. | Link (auf einer Website) |
LLM RAG
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| FastGraph RAG | Das schlanke und prompte Fast GraphRAG Framework ist für interpretierbare, hochpräzise, agentengesteuerte Retrieval-Workflows konzipiert. | Link (auf einer Website) |
| Chonkie | RAG-Chunking-Bibliothek, leichtgewichtig, extrem schnell und einfach zu benutzen. | Link (auf einer Website) |
| RAGChecker | Ein feinkörniger Rahmen für die Diagnose von RAG. | Link (auf einer Website) |
| RAG to Riches | Erstellen, Erweitern und Bereitstellen von fortgeschrittenen Anwendungen mit Suchfunktionen. | Link (auf einer Website) |
| BeyondLLM | Beyond LLM bietet ein All-in-One-Toolkit für die Erprobung, Bewertung und den Einsatz von Retrieval Augmented Generation (RAG)-Systemen. | Link (auf einer Website) |
| SQLite-Vec | Eine SQLite-Erweiterung für die Vektorsuche, die überall läuft! | Link (auf einer Website) |
| fastRAG | fastRAG ist ein Forschungsrahmenwerk für die effiziente und optimierte Abfrage von erweiterten Generierungspipelines, das fortgeschrittene LLM- und Information Retrieval-Techniken kombiniert. | Link (auf einer Website) |
| FlashRAG | Python-Toolkit für effiziente RAG-Forschung. | Link (auf einer Website) |
| Llmware | Ein einheitlicher Rahmen für den Aufbau unternehmensweiter RAG-Pipelines unter Verwendung kleiner, speziell angefertigter Modelle. | Link (auf einer Website) |
| Rerankers | Leichtgewichtige, einheitliche API für verschiedene Neuordnungsmodelle. | Link (auf einer Website) |
| Vectara | Erstellen Sie die Agentic RAG-Anwendung. | Link (auf einer Website) |
LLM-Begründung
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| LLM-Kompressor | Transformers-kompatible Bibliothek zur Anwendung verschiedener Komprimierungsalgorithmen auf LLM zur Optimierung der Bereitstellung. | Link (auf einer Website) |
| LichtLLM | Python-basiertes LLM-Inferenz- und Service-Framework, das für sein leichtgewichtiges Design, seine einfache Skalierbarkeit und seine Hochgeschwindigkeitsleistung bekannt ist. | Link (auf einer Website) |
| vLLM | Durchsatzstarke und speichereffiziente Inferenz- und Service-Engine für LLM. | Link (auf einer Website) |
| Fackelchat | Führen Sie PyTorch LLM lokal auf Servern, Desktops und mobilen Geräten aus. | Link (auf einer Website) |
| TensorRT-LLM | TensorRT-LLM ist eine Bibliothek zur Optimierung der Inferenz von Large Language Models (LLM). | Link (auf einer Website) |
| WebLLM | Leistungsstarke browserinterne LLM-Inferenzmaschine. | Link (auf einer Website) |
Bereitstellung von LLM-Diensten
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Langcorn | Verwenden Sie FastAPI, um die Wartung von LangChain LLM-Anwendungen und Agenten zu automatisieren. | Link (auf einer Website) |
| LitServe | Extrem schnelle Service-Engine für KI-Modelle beliebiger Größe. Sie erweitert FastAPI um Funktionen wie Stapelverarbeitung, Streaming und automatische GPU-Skalierung. | Link (auf einer Website) |
LLM Datenextraktion
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Crawl4AI | Open Source LLM-freundlicher Webcrawler und Crawling-Tool . | Link (auf einer Website) |
| ScrapeGraphAI | Eine Python-Bibliothek für Web-Crawling, die LLM und direkte Graphenlogik verwendet, um Crawling-Pipelines für Websites und lokale Dokumente (XML, HTML, JSON, Markdown usw.) zu erstellen. | Link (auf einer Website) |
| Docling | Docling parst Dokumente und exportiert sie einfach und schnell in das gewünschte Format. | Link (auf einer Website) |
| Lama Parse | GenAI-eigener Dokumentenparser, der komplexe Dokumentendaten für jeden nachgelagerten LLM-Anwendungsfall (RAG, Agent) parsen kann. | Link (auf einer Website) |
| PyMuPDF4LLM | Die PyMuPDF4LLM-Bibliothek erleichtert es den Benutzern, PDF-Inhalte in die von LLM- und RAG-Umgebungen benötigten Formate zu extrahieren. | Link (auf einer Website) |
| Crawlee | Ein Web-Crawler und eine Bibliothek zur Browser-Automatisierung. | Link (auf einer Website) |
| MegaParse | Parser für jeden Dokumententyp. | Link (auf einer Website) |
| ExtractThinker | Document Intelligence Library für LLM. | Link (auf einer Website) |
LLM-Datengenerierung
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| DataDreamer | DataDreamer ist eine leistungsstarke Open-Source-Python-Bibliothek für Prompting, die Erzeugung synthetischer Daten und Trainingsworkflows. | Link (auf einer Website) |
| Verarbeiter | Ein flexibles Open-Source-Framework für die Erstellung von Datensätzen mit großen Sprachmodellen. | Link (auf einer Website) |
| Promptwright | Bibliothek zur Erzeugung synthetischer Datensätze. | Link (auf einer Website) |
| EasyInstruct | Ein benutzerfreundlicher Rahmen für die Verarbeitung großer Sprachmodellanweisungen. | Link (auf einer Website) |
LLM Intelligenter Körper
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| CrewAI | Ein Rahmen für die Orchestrierung von rollenspielenden, autonomen KI-Agenten. | Link (auf einer Website) |
| LangGraph | Konstruieren Sie den elastischen Sprachagenten als Graph. | Link (auf einer Website) |
| Agno | Erstellen Sie KI-Agenten mit Gedächtnis, Wissen, Werkzeugen und logischen Fähigkeiten. Chatten Sie mit ihnen über eine schöne Agenten-Benutzeroberfläche. | Link (auf einer Website) |
| AutoGen | Ein Open-Source-Framework für den Aufbau von KI-Agentensystemen. | Link (auf einer Website) |
| Smolagents | Bibliothek zur Erstellung leistungsstarker Agenten in wenigen Zeilen Code. | Link (auf einer Website) |
| Pydantische KI | Python-Agenten-Framework zur Erstellung produktionsreifer Anwendungen mit generativer KI. | Link (auf einer Website) |
| gradio-tools | Eine Python-Bibliothek zur Umwandlung von Gradio-Anwendungen in Werkzeuge, die von LLM-basierten Agenten zur Erfüllung ihrer Aufgaben genutzt werden können. | Link (auf einer Website) |
| Kompositum | Produktionsfähiges Toolset für KI-Agenten. | Link (auf einer Website) |
| Atomare Wirkstoffe | Atomarer Aufbau von KI-Agenten. | Link (auf einer Website) |
| Memary | Eine quelloffene Speicherschicht für autonome Agenten. | Link (auf einer Website) |
| Browser-Nutzung | Machen Sie die Website für KI-Agenten zugänglich. | Link (auf einer Website) |
| OpenWebAgent | Ein offenes Toolkit zur Aktivierung von Web-Proxies auf großen Sprachmodellen. | Link (auf einer Website) |
| Lagent | Ein leichtgewichtiger Rahmen für den Aufbau LLM-basierter Agenten. | Link (auf einer Website) |
| LazyLLM | Ein Low-Code-Entwicklungstool zur Erstellung von Multi-Agenten-LLM-Anwendungen. | Link (auf einer Website) |
| Schwärme | Ein Rahmenwerk für die produktionsreife Multi-Agenten-Orchestrierung der Unternehmensklasse. | Link (auf einer Website) |
| ChatArena | ChatArena ist eine Bibliothek, die eine Multi-Agenten-Sprachspielumgebung bereitstellt und die Forschung an autonomen LLM-Agenten und deren sozialen Interaktionen erleichtert. | Link (auf einer Website) |
| Schwarm | Erforschung eines ergonomischen, leichtgewichtigen, durch mehrere Agenten orchestrierten Bildungsrahmens. | Link (auf einer Website) |
| AgentStack | Der schnellste Weg zum Aufbau leistungsstarker KI-Agenten. | Link (auf einer Website) |
| Archgw | Intelligentes Agenten-Gateway. | Link (auf einer Website) |
| Durchfluss | Eine leichtgewichtige Task-Engine für den Aufbau von KI-Agenten. | Link (auf einer Website) |
| AgentOps | Python SDK für die Überwachung von KI-Agenten. | Link (auf einer Website) |
| Langroid | Multi-Agenten-Rahmen. | Link (auf einer Website) |
| Agentarium | Ein Rahmen für die Erstellung und Verwaltung von Simulationen, die KI-gesteuerte Agenten bevölkern. | Link (auf einer Website) |
| Upsonic | Adjuvans MCP Rahmen für zuverlässige KI-Agenten. | Link (auf einer Website) |
LLM-Bewertung
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Ragas | Ragas ist das ultimative Toolkit zur Evaluierung und Optimierung von Large Language Model (LLM)-Anwendungen. | Link (auf einer Website) |
| Giskard | Open-Source-Bewertungs- und Testwerkzeuge für ML- und LLM-Systeme. | Link (auf einer Website) |
| DeepEval | LLM-Bewertungsrahmen | Link (auf einer Website) |
| Leichtes Mittelalter | Ein umfassendes Toolkit für die Bewertung von LLMs. | Link (auf einer Website) |
| Trulens | Auswertungs- und Verfolgungsinstrumente für LLM-Experimente | Link (auf einer Website) |
| PromptBench | Ein einheitlicher Bewertungsrahmen für die Modellierung von Sprachen in großem Maßstab. | Link (auf einer Website) |
| LangTest | Bereitstellung von sicheren und validen Sprachmodellen. Über 60 Testtypen zum Vergleich von LLM- und NLP-Modellen in Bezug auf Genauigkeit, Verzerrung, Fairness, Robustheit und mehr. | Link (auf einer Website) |
| EvalPlus | Strenger Bewertungsrahmen für LLM4Code. | Link (auf einer Website) |
| FastChat | Eine offene Plattform zum Trainieren, Bedienen und Bewerten von Chatbots, die auf großen Sprachmodellen basieren. | Link (auf einer Website) |
| Richter | Ein kleiner Pool von LLM-Richtern. | Link (auf einer Website) |
| Beweise | Evals ist ein Rahmen für die Bewertung von LLM und LLM-Systemen sowie für das Benchmarking von Open-Source-Registern. | Link (auf einer Website) |
| AgentEvals | Evaluatoren und Hilfsprogramme für die Bewertung der Leistung von Agenten. | Link (auf einer Website) |
| LLMBox | Eine umfassende LLM-Bibliothek, einschließlich einer vereinheitlichten Trainingspipeline und einer umfassenden Modellbewertung. | Link (auf einer Website) |
| Opik | Eine quelloffene End-to-End-LLM-Entwicklungsplattform, die auch die LLM-Evaluierung umfasst. | Link (auf einer Website) |
LLM-Überwachung
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| MLflow | Eine quelloffene End-to-End-MLOps/LLMOps-Plattform zur Verfolgung, Bewertung und Überwachung von LLM-Anwendungen. | Link (auf einer Website) |
| Opik | Eine quelloffene End-to-End-LLM-Entwicklungsplattform, die auch LLM-Überwachung beinhaltet. | Link (auf einer Website) |
| LangSmith | Stellt Werkzeuge für die Dokumentation, Überwachung und Verbesserung von LLM-Anwendungen bereit. | Link (auf einer Website) |
| Gewichte & Vorurteile (W&B) | W&B bietet Funktionen zur Verfolgung der LLM-Leistung. | Link (auf einer Website) |
| Helikon | Open-Source LLM Observability-Plattform für Entwickler. One-Line-Integration für Monitoring, Metriken, Evaluation, Agententracking, Cue-Management, Playgrounds und mehr. | Link (auf einer Website) |
| Offensichtlich | Ein quelloffener ML- und LLM-Beobachtungsrahmen. | Link (auf einer Website) |
| Phoenix | Eine quelloffene KI-Beobachtungsplattform, die für Experimente, Evaluierung und Fehlerbehebung entwickelt wurde. | Link (auf einer Website) |
| Beobachter | Eine leichtgewichtige Bibliothek für KI-Beobachtbarkeit. | Link (auf einer Website) |
LLM Cue word engineering
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| PCToolkit | Einheitliches Plug-and-Play-Hinweiskomprimierungs-Toolkit für große Sprachmodelle. | Link (auf einer Website) |
| Selektiver Kontext | Selective Context komprimiert die Eingabeaufforderungen und den Kontext des Benutzers, damit der LLM (z.B. ChatGPT) 2x mehr Inhalte verarbeiten kann. | Link (auf einer Website) |
| LLMLingua | Bibliothek zur Komprimierung von Hints, um LLM-Schlussfolgerungen zu beschleunigen. | Link (auf einer Website) |
| betterprompt | Eine Suite zum Testen von LLM-Eingabeaufforderungen, bevor sie in die Produktionsumgebung übertragen werden. | Link (auf einer Website) |
| Promptify | Lösen Sie NLP-Probleme mit LLM und generieren Sie mit Promptify ganz einfach verschiedene NLP-Aufgaben-Prompts für gängige generative Modelle wie GPT, PaLM usw. | Link (auf einer Website) |
| PromptSource | PromptSource ist ein Toolkit für die Erstellung, den Austausch und die Verwendung natürlichsprachlicher Prompts. | Link (auf einer Website) |
| DSPy | DSPy ist ein Open-Source-Framework für die Programmierung (nicht die Eingabeaufforderung) von Sprachmodellen. | Link (auf einer Website) |
| Py-priompt | Einsatz der Designbibliothek. | Link (auf einer Website) |
| Promptimizer | Hinweise zur Optimierung der Bibliothek. | Link (auf einer Website) |
LLM Strukturierte Ausgabe
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Ausbilder | Python-Bibliothek für die Verarbeitung strukturierter Ausgaben von großen Sprachmodellen (LLMs). Sie baut auf Pydantic auf und bietet eine einfache, transparente und benutzerfreundliche API. | Link (auf einer Website) |
| XGrammar | Eine Open-Source-Bibliothek zur effizienten, flexiblen und portablen Strukturerzeugung. | Link (auf einer Website) |
| Umrisse | Leistungsstarke (strukturierte) Texterstellung | Link (auf einer Website) |
| Leitfaden | Guidance ist ein gültiges Programmierparadigma, das zur Steuerung des Sprachmodells verwendet wird. | Link (auf einer Website) |
| LMQL | Eine Sprache für Constraint-Bootstrapping und effiziente LLM-Programmierung. | Link (auf einer Website) |
| Jsonformer | Eine narrensichere Methode zur Erzeugung von strukturiertem JSON aus Sprachmodellen. | Link (auf einer Website) |
LLM Sicherheit
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| JailbreakEval | Eine Sammlung von automatischen Auswertern zur Bewertung von Jailbreak-Versuchen. | Link (auf einer Website) |
| EasyJailbreak | Ein einfach zu bedienendes Python-Framework zur Generierung gegnerischer Jailbreak-Hinweise. | Link (auf einer Website) |
| Leitplanken | Hinzufügen von Leitplanken zu großen Sprachmodellen. | Link (auf einer Website) |
| LLM Wächter | LLM Interaktives Sicherheits-Toolkit. | Link (auf einer Website) |
| AuditNLG | AuditNLG ist eine Open-Source-Bibliothek, die dazu beitragen kann, die mit dem Einsatz generativer KI-Systeme für Sprache verbundenen Risiken zu verringern. | Link (auf einer Website) |
| NeMo-Leitplanken | NeMo Guardrails ist ein Open-Source-Toolkit zum einfachen Hinzufügen von programmierbaren Guardrails zu LLM-basierten Dialogsystemen. | Link (auf einer Website) |
| Garak | LLM Schwachstellen-Scanner | Link (auf einer Website) |
Eingebettetes LLM-Modell
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Satz-Transformatoren | Fortgeschrittenes Modell zur Texteinbettung | Link (auf einer Website) |
| Model2Vec | Schnelle erweiterte statische Einbettungsmodelle | Link (auf einer Website) |
| Text einbettende Schlussfolgerung | TEI ermöglicht eine hochleistungsfähige Extraktion für die gängigsten Modelle, einschließlich FlagEmbedding, Ember, GTE und E5. | Link (auf einer Website) |
der Rest
| Bibliotheksname | Beschreibungen | Link (auf einer Website) |
|---|---|---|
| Text Machina | Ein modulares und erweiterbares Python-Framework, das dazu dient, hochwertige, unverzerrte Datensätze zu erstellen, um robuste Modelle für MGT-bezogene Aufgaben wie Erkennung, Zuweisung und Grenzerkennung zu entwickeln. | Link (auf einer Website) |
| LLM Begründer | Eine Bibliothek für fortgeschrittene Sprachmodellierung in großem Maßstab. | Link (auf einer Website) |
| EasyEdit | Ein einfach zu bedienendes Framework zur Wissensaufbereitung für umfangreiche Sprachmodelle. | Link (auf einer Website) |
| CodeTF | CodeTF: Eine Transformer-Bibliothek aus einer Hand für fortgeschrittenes Code-LLM. | Link (auf einer Website) |
| spacy-llm | Dieses Paket integriert ein Large Language Model (LLM) in spaCy mit einem modularen System für Rapid Prototyping und Cueing und verwandelt unstrukturierte Antworten in robuste Ausgaben für eine Vielzahl von NLP-Aufgaben. | Link (auf einer Website) |
| pandas-ai | Chat mit der Datenbank des Benutzers (SQL, CSV, Pandas, Polars, MongoDB, NoSQL usw.). | Link (auf einer Website) |
| LLM-Transparenz-Tool | Ein interaktives Open-Source-Toolkit für die Analyse des Innenlebens von Transformer-basierten Sprachmodellen. | Link (auf einer Website) |
| Vanna | Chatten Sie mit den SQL-Datenbanken Ihrer Benutzer. Genaue Text-zu-SQL-Generierung mit dem LLM der RAG. | Link (auf einer Website) |
| mergekit | Werkzeuge für die Zusammenführung von vortrainierten Sprachmodellen in großem Maßstab. | Link (auf einer Website) |
| MarkLLM | Ein Open-Source-Toolkit für LLM-Wasserzeichen. | Link (auf einer Website) |
| LLMSanitize | Eine Open-Source-Bibliothek zur Erkennung von Kontaminationen in NLP-Datensätzen und großen Sprachmodellen (LLMs). | Link (auf einer Website) |
| Annotateai | Automatisches Annotieren von Papieren mit LLM. | Link (auf einer Website) |
| LLM-Grundlagengeber | Lassen Sie ein LLM wie OpenAI o1 und DeepSeek Denken Sie wie R1. | Link (auf einer Website) |
Deutsch (Sie) 
简体中文 
English 
日本語 
Português do Brasil