La boîte à outils de l'ingénieur en modélisation des grands langages : une sélection de plus de 120 ressources bibliothécaires utiles

Dans le domaine de l'intelligence artificielle, la technologie de modélisation des grands langages (LLM) évolue rapidement et de nombreuses bibliothèques d'outils apparaissent. Afin d'aider les développeurs à mieux relever les défis du développement LLM, ce document compile une boîte à outils contenant plus de 120 bibliothèques LLM utiles, divisées par catégories fonctionnelles, afin que les ingénieurs puissent les trouver et les appliquer rapidement.

大型语言模型工程师工具箱:精选120+实用库资源

 

Navigation rapide

Pour permettre aux lecteurs de trouver rapidement les ressources dont ils ont besoin, voici des liens rapides vers les bibliothèques d'outils pour chaque catégorie :

🚀 Formation et mise au point du LLM🧱 Développement d'applications LLM🩸 Génération de l'amélioration de l'extraction LLM (RAG)
🟩 Raisonnement LLM🚧 Déploiement du service LLM📤 Extraction des données LLM
🌠 Génération de données LLM💎 LLM Corps intelligent⚖️ Évaluation du LLM
🔍 Suivi et contrôle du LLM📅 LLM Prompt Word Engineering📝 LLM Sortie structurée
🛑 LLM Sécurité💠 Modèle intégré LLM❇️ Autre

 

Formation et perfectionnement en matière de LLM

nom de la bibliothèquedescriptionslien (sur un site web)
non-lothAjustez le LLM plus rapidement avec moins de mémoire.lien (sur un site web)
PEFTBibliothèque avancée pour un réglage précis et efficace des paramètres.lien (sur un site web)
TRLFormation par apprentissage par renforcement transformateur Modélisation du langage.lien (sur un site web)
TransformateursTransformers fournit des milliers de modèles pré-entraînés pour effectuer des tâches dans différentes modalités telles que le texte, la vision et l'audio.lien (sur un site web)
AxolotlOutils conçus pour simplifier le post-entraînement de divers modèles d'IA.lien (sur un site web)
LLMBoxUne bibliothèque LLM complète, comprenant un pipeline de formation unifié et une évaluation complète des modèles.lien (sur un site web)
LitGPTFormer et affiner rapidement le LLM.lien (sur un site web)
MergooUne bibliothèque permettant de fusionner facilement plusieurs experts LLM et de former efficacement le LLM fusionné.lien (sur un site web)
Usine à lamasOutil simple et efficace de réglage fin du LLM.lien (sur un site web)
LudwigCadre de travail à code bas pour la construction de LLM, de réseaux neuronaux et d'autres modèles d'IA personnalisés.lien (sur un site web)
TxtinstructUn cadre pour la formation des modèles de réglage des instructions.lien (sur un site web)
LaminiUne plateforme intégrée d'inférence et de réglage LLM.lien (sur un site web)
XTuringXTuring permet un réglage rapide, efficace et simple des LLMs open source tels que Mistral, LLaMA, GPT-J et d'autres.lien (sur un site web)
RL4LMsUne bibliothèque RL modulaire pour l'adaptation des modèles linguistiques aux préférences humaines.lien (sur un site web)
DeepSpeedDeepSpeed est une bibliothèque d'optimisation de l'apprentissage profond qui rend l'entraînement et l'inférence distribués simples, efficaces et efficients.lien (sur un site web)
torchtuneUne bibliothèque native PyTorch conçue spécifiquement pour affiner LLM.lien (sur un site web)
PyTorch foudreUne bibliothèque qui fournit une interface de haut niveau pour le pré-entraînement et le réglage fin des LLM.lien (sur un site web)

 

Développement d'applications LLM

fig. modèle

nom de la bibliothèquedescriptionslien (sur un site web)
LangChainLangChain est un cadre pour le développement d'applications basées sur le Grand Modèle de Langage (LLM).lien (sur un site web)
Index des lamasLlamaIndex est le cadre de données pour les applications LLM.lien (sur un site web)
HayStackHaystack est un cadre LLM de bout en bout qui permet aux utilisateurs de construire des applications pilotées par LLM, des modèles Transformer, la recherche vectorielle, et plus encore.lien (sur un site web)
Flux rapideUn ensemble d'outils de développement conçus pour simplifier le cycle de développement de bout en bout des applications d'IA basées sur le LLM.lien (sur un site web)
GriptapeUn cadre modulaire Python pour la construction d'applications pilotées par l'IA.lien (sur un site web)
TissageWeave est une boîte à outils pour le développement d'applications d'IA générative.lien (sur un site web)
Pile de lamasConstruire l'application Llama.lien (sur un site web)

Accès multiples à l'API

nom de la bibliothèquedescriptionslien (sur un site web)
LiteLLMUne bibliothèque de plus de 100 appels d'API LLM au format OpenAI.lien (sur un site web)
Passerelle AIUne passerelle IA rapide avec des clôtures intégrées. Routes vers plus de 200 LLM, plus de 50 clôtures d'IA via une API rapide et conviviale.lien (sur un site web)

routeur (informatique)

nom de la bibliothèquedescriptionslien (sur un site web)
RouteLLMCadre pour l'entretien et l'évaluation des routeurs LLM - Réduction des coûts LLM sans compromettre la qualité Remplacement direct des clients OpenAI pour l'acheminement de requêtes plus simples vers des modèles moins coûteux.lien (sur un site web)

mémorisation

nom de la bibliothèquedescriptionslien (sur un site web)
mem0Couche de mémoire pour les applications d'intelligence artificielle.lien (sur un site web)
MémoireUne couche de mémoire IA avec stockage à court et à long terme, regroupement sémantique et décomposition facultative de la mémoire pour les applications sensibles au contexte.lien (sur un site web)

Interfaces

nom de la bibliothèquedescriptionslien (sur un site web)
Éclairé par la lumière du jourStreamlit permet aux utilisateurs de transformer des scripts Python en applications web interactives en quelques minutes.lien (sur un site web)
GradioCréez et partagez de superbes applications d'apprentissage automatique en Python.lien (sur un site web)
AI SDK UIConstruction d'interfaces utilisateur génératives et de chat.lien (sur un site web)
AI-GradioCréer des applications d'IA soutenues par une variété de fournisseurs d'IA.lien (sur un site web)
SimpleaichatPaquets Python permettant d'interagir facilement avec des applications de chat dotées de fonctionnalités puissantes et d'un code peu complexe.lien (sur un site web)
ChaînageCréez des applications d'IA conversationnelle prêtes à la production en quelques minutes.lien (sur un site web)

code bas

nom de la bibliothèquedescriptionslien (sur un site web)
LangFlowLangFlow est un générateur d'applications à code bas pour les applications d'IA RAG et multi-agents. Il est basé sur Python et est indépendant de tout modèle, API ou base de données.lien (sur un site web)

cache (informatique)

nom de la bibliothèquedescriptionslien (sur un site web)
GPTCacheUne bibliothèque pour créer des caches sémantiques pour les requêtes LLM. Réduit le coût de l'API LLM de 10x💰 et augmente la vitesse de 100x. Complètement intégrée avec LangChain et LlamaIndex.lien (sur un site web)

 

LLM RAG

nom de la bibliothèquedescriptionslien (sur un site web)
FastGraph RAGLe cadre Fast GraphRAG, rationalisé et rapide, est conçu pour des flux de recherche interprétables, très précis et pilotés par des agents.lien (sur un site web)
ChonkieBibliothèque de découpage RAG, légère, extrêmement rapide et facile à utiliser.lien (sur un site web)
RAGCheckerUn cadre précis pour diagnostiquer les RAG.lien (sur un site web)
Du RAG à la richesseCréer, étendre et déployer des applications de génération à recherche avancée.lien (sur un site web)
Au-delà deLLMBeyond LLM fournit une boîte à outils tout-en-un pour l'expérimentation, l'évaluation et le déploiement de systèmes RAG (Retrieval Augmented Generation).lien (sur un site web)
SQLite-VecUne extension SQLite de recherche vectorielle qui fonctionne n'importe où !lien (sur un site web)
fastRAGfastRAG est un cadre de recherche pour la recherche efficace et optimisée de pipelines de génération améliorée, combinant des techniques avancées de LLM et de recherche d'informations.lien (sur un site web)
FlashRAGBoîte à outils Python pour une recherche RAG efficace.lien (sur un site web)
LlmwareUn cadre unifié pour la construction de pipelines RAG d'entreprise à l'aide de petits modèles conçus à cet effet.lien (sur un site web)
RerankersAPI unifiée et légère pour différents modèles de réorganisation.lien (sur un site web)
VectaraConstruire l'application Agentic RAG.lien (sur un site web)

 

Raisonnement du LLM

nom de la bibliothèquedescriptionslien (sur un site web)
Compresseur LLMBibliothèque compatible avec Transformers permettant d'appliquer divers algorithmes de compression à LLM afin d'en optimiser le déploiement.lien (sur un site web)
LightLLMCadre d'inférence et de service LLM basé sur Python, connu pour sa conception légère, sa facilité d'extensibilité et ses performances à grande vitesse.lien (sur un site web)
vLLMMoteur d'inférence et de service à haut débit et à mémoire efficace pour LLM.lien (sur un site web)
torchchatExécutez PyTorch LLM localement sur des serveurs, des ordinateurs de bureau et des appareils mobiles.lien (sur un site web)
TensorRT-LLMTensorRT-LLM est une bibliothèque permettant d'optimiser l'inférence des grands modèles de langage (LLM).lien (sur un site web)
WebLLMMoteur d'inférence LLM haute performance pour navigateur.lien (sur un site web)

 

Déploiement du service LLM

nom de la bibliothèquedescriptionslien (sur un site web)
LangcornUtilisez FastAPI pour automatiser le service des applications et des agents LangChain LLM.lien (sur un site web)
LitServeMoteur de service extrêmement rapide pour n'importe quel modèle d'IA de n'importe quelle taille. Il améliore FastAPI avec des fonctionnalités telles que le traitement par lots, le streaming et l'autoscaling GPU.lien (sur un site web)

 

Extraction de données LLM

nom de la bibliothèquedescriptionslien (sur un site web)
Crawl4AIOutil d'exploration du Web et outil d'exploration Open Source LLM .lien (sur un site web)
ScrapeGraphAIUne bibliothèque Python d'exploration de sites web qui utilise LLM et la logique graphique directe pour créer des pipelines d'exploration de sites web et de documents locaux (XML, HTML, JSON, Markdown, etc.).lien (sur un site web)
DoclingDocling analyse les documents et les exporte facilement et rapidement dans le format souhaité.lien (sur un site web)
Llama ParseL'analyseur de documents natif de GenAI qui peut analyser des données documentaires complexes pour tout cas d'utilisation LLM en aval (RAG, agent).lien (sur un site web)
PyMuPDF4LLMLa bibliothèque PyMuPDF4LLM facilite l'extraction du contenu PDF dans les formats requis par les environnements LLM et RAG.lien (sur un site web)
CrawleeUne bibliothèque d'automatisation des moteurs de recherche et des navigateurs.lien (sur un site web)
MegaParseAnalyseur pour chaque type de document.lien (sur un site web)
ExtractThinkerBibliothèque de veille documentaire pour LLM.lien (sur un site web)

 

Génération de données LLM

nom de la bibliothèquedescriptionslien (sur un site web)
DataDreamerDataDreamer est une puissante bibliothèque Python open-source pour l'incitation, la génération de données synthétiques et les flux de travail de formation.lien (sur un site web)
fabricantUn cadre flexible à source ouverte pour générer des ensembles de données à l'aide de grands modèles de langage.lien (sur un site web)
PromptwrightBibliothèque de génération d'ensembles de données synthétiques.lien (sur un site web)
EasyInstructUn cadre facile à utiliser pour le traitement de grandes instructions de modèles de langage.lien (sur un site web)

LLM Corps intelligent

nom de la bibliothèquedescriptionslien (sur un site web)
CrewAIUn cadre pour l'orchestration d'agents d'IA autonomes jouant un rôle.lien (sur un site web)
LangGraphConstruire l'agent linguistique élastique sous forme de graphe.lien (sur un site web)
AgnoCréez des agents d'intelligence artificielle dotés de mémoire, de connaissances, d'outils et de capacités de raisonnement. Discutez avec eux à l'aide d'une superbe interface utilisateur.lien (sur un site web)
AutoGenUn cadre open source pour la construction de systèmes d'agents d'intelligence artificielle.lien (sur un site web)
SmolagentsBibliothèque permettant de construire des agents puissants en quelques lignes de code.lien (sur un site web)
Pydantique AICadre d'agent Python pour la construction d'applications de niveau de production utilisant l'IA générative.lien (sur un site web)
gradio-toolsUne bibliothèque Python pour convertir les applications Gradio en outils qui peuvent être utilisés par les agents basés sur LLM pour accomplir leurs tâches.lien (sur un site web)
CompositionEnsemble d'outils prêts à la production pour les agents d'intelligence artificielle.lien (sur un site web)
Agents atomiquesConstruction atomique d'agents d'intelligence artificielle.lien (sur un site web)
MémoireUne couche de mémoire open source pour les agents autonomes.lien (sur un site web)
Utilisation du navigateurRendre le site accessible aux agents de l'IA.lien (sur un site web)
OpenWebAgentUne boîte à outils ouverte pour la mise en place de proxies web sur de grands modèles de langage.lien (sur un site web)
LagentUn cadre léger pour la construction d'agents basés sur LLM.lien (sur un site web)
LazyLLMUn outil de développement à code bas pour la construction d'applications LLM multi-agents.lien (sur un site web)
EssaimsUn cadre pour l'orchestration multi-agents prête à la production pour les entreprises.lien (sur un site web)
ChatArenaChatArena est une bibliothèque qui fournit un environnement de jeu linguistique multi-agents et facilite la recherche sur les agents LLM autonomes et leurs interactions sociales.lien (sur un site web)
EssaimExploration d'un cadre éducatif ergonomique, léger et orchestré par plusieurs agents.lien (sur un site web)
AgentStackLe moyen le plus rapide de créer des agents d'intelligence artificielle puissants.lien (sur un site web)
ArchgwPasserelle pour agents intelligents.lien (sur un site web)
DébitUn moteur de tâches léger pour la construction d'agents d'intelligence artificielle.lien (sur un site web)
AgentOpsSDK Python pour la surveillance des agents d'intelligence artificielle.lien (sur un site web)
LangroidCadre multi-agents.lien (sur un site web)
AgentariumUn cadre pour la création et la gestion de simulations qui peuplent des agents pilotés par l'IA.lien (sur un site web)
Upsonicadjuvant MCP pour des agents d'intelligence artificielle fiables.lien (sur un site web)

 

Évaluation du LLM

nom de la bibliothèquedescriptionslien (sur un site web)
RagasRagas est la boîte à outils ultime pour l'évaluation et l'optimisation des applications de grands modèles de langage (LLM).lien (sur un site web)
GiskardOutils d'évaluation et de test open source pour les systèmes ML et LLM.lien (sur un site web)
DeepEvalCadre d'évaluation du LLMlien (sur un site web)
LightevalUne boîte à outils tout-en-un pour l'évaluation des LLM.lien (sur un site web)
TrulensOutils d'évaluation et de suivi pour les expériences LLMlien (sur un site web)
PromptBenchUn cadre d'évaluation unifié pour la modélisation linguistique à grande échelle.lien (sur un site web)
LangTestFournir des modèles de langage sûrs et valides. Plus de 60 types de tests pour comparer les modèles LLM et NLP en termes de précision, de biais, d'équité, de robustesse, etc.lien (sur un site web)
EvalPlusCadre d'évaluation rigoureux pour LLM4Code.lien (sur un site web)
FastChatUne plateforme ouverte pour la formation, le service et l'évaluation des chatbots basés sur de grands modèles de langage.lien (sur un site web)
jugesUn petit nombre de juges spécialisés en droit du travail.lien (sur un site web)
EvalsEvals est un cadre permettant d'évaluer les systèmes LLM et LLM, ainsi que les registres open source.lien (sur un site web)
AgentEvalsÉvaluateurs et utilitaires pour l'évaluation des performances des agents.lien (sur un site web)
LLMBoxUne bibliothèque LLM complète, comprenant un pipeline de formation unifié et une évaluation complète des modèles.lien (sur un site web)
OpikUne plateforme de développement LLM de bout en bout, à code source ouvert, qui inclut également l'évaluation LLM.lien (sur un site web)

 

Suivi de l'apprentissage tout au long de la vie

nom de la bibliothèquedescriptionslien (sur un site web)
MLflowUne plateforme MLOps/LLMOps de bout en bout à source ouverte pour le suivi, l'évaluation et le contrôle des candidatures LLM.lien (sur un site web)
OpikUne plateforme de développement LLM de bout en bout, à code source ouvert, qui inclut également la surveillance LLM.lien (sur un site web)
LangSmithFournit des outils pour documenter, contrôler et améliorer les applications LLM.lien (sur un site web)
Poids & Biais (W&B)W&B propose une fonctionnalité de suivi des performances du programme LLM.lien (sur un site web)
HeliconePlate-forme d'observabilité LLM open source pour les développeurs. Intégration en une seule ligne pour la surveillance, les mesures, l'évaluation, le suivi des agents, la gestion des indices, les aires de jeu et bien plus encore.lien (sur un site web)
De toute évidenceUn cadre d'observabilité ML et LLM open source.lien (sur un site web)
PhoenixUne plateforme d'observabilité de l'IA open source conçue pour l'expérimentation, l'évaluation et le dépannage.lien (sur un site web)
ObservateursUne bibliothèque légère pour l'observabilité de l'IA.lien (sur un site web)

 

LLM Cue word engineering

nom de la bibliothèquedescriptionslien (sur un site web)
PCToolkitBoîte à outils de compression d'indices unifiée et prête à l'emploi pour les modèles linguistiques de grande taille.lien (sur un site web)
Contexte sélectifLe contexte sélectif comprime les invites et le contexte de l'utilisateur pour permettre au LLM (par exemple ChatGPT) de traiter deux fois plus de contenu.lien (sur un site web)
LLMLinguaBibliothèque de compression des indices pour accélérer le raisonnement LLM.lien (sur un site web)
Meilleur aperçuUne suite pour tester les invites LLM avant de les intégrer à l'environnement de production.lien (sur un site web)
PromptifyRésolvez les problèmes de NLP avec LLM et générez facilement différentes tâches de NLP pour les modèles génératifs populaires tels que GPT, PaLM, etc. avec Promptify.lien (sur un site web)
PromptSourcePromptSource est une boîte à outils permettant de créer, de partager et d'utiliser des messages-guides en langage naturel.lien (sur un site web)
DSPyDSPy est un cadre open source pour la programmation (et non l'incitation) de modèles linguistiques.lien (sur un site web)
Py-priomptLa bibliothèque des dessins et modèles est à votre disposition.lien (sur un site web)
PromptimizerConseils pour optimiser la bibliothèque.lien (sur un site web)

 

Sortie structurée LLM

nom de la bibliothèquedescriptionslien (sur un site web)
InstructeurBibliothèque Python pour le traitement des résultats structurés des grands modèles de langage (LLM). Construite au-dessus de Pydantic, elle fournit une API simple, transparente et conviviale.lien (sur un site web)
XGrammarUne bibliothèque open source pour la génération de structures efficaces, flexibles et portables.lien (sur un site web)
AperçuGénération de textes (structurés) puissantslien (sur un site web)
OrientationsL'orientation est un paradigme de programmation valide utilisé pour guider le modèle linguistique.lien (sur un site web)
LMQLUn langage pour l'amorçage de contraintes et la programmation LLM efficace.lien (sur un site web)
JsonformerUne méthode infaillible pour générer du JSON structuré à partir de modèles linguistiques.lien (sur un site web)

 

LLM Sécurité

nom de la bibliothèquedescriptionslien (sur un site web)
JailbreakEvalUne collection d'évaluateurs automatisés pour évaluer les tentatives de jailbreak.lien (sur un site web)
EasyJailbreakUn cadre Python facile à utiliser pour générer des indices de jailbreak adverses.lien (sur un site web)
Garde-corpsAjouter des garde-fous aux grands modèles linguistiques.lien (sur un site web)
LLM GardeBoîte à outils de sécurité interactive LLM.lien (sur un site web)
AuditNLGAuditNLG est une bibliothèque open source qui peut aider à réduire les risques associés à l'utilisation de systèmes d'IA générative pour le langage.lien (sur un site web)
Garde-corps NeMoNeMo Guardrails est une boîte à outils open source permettant d'ajouter facilement des garde-fous programmables aux systèmes de dialogue basés sur LLM.lien (sur un site web)
GarakScanner de vulnérabilité LLMlien (sur un site web)

 

Modèle intégré LLM

nom de la bibliothèquedescriptionslien (sur un site web)
Phrase - TransformateursModèle avancé d'intégration de textelien (sur un site web)
Modèle2VecModèles d'intégration statique avancés et rapideslien (sur un site web)
Inférence d'intégration de texteTEI permet une extraction très performante pour les modèles les plus populaires, y compris FlagEmbedding, Ember, GTE et E5.lien (sur un site web)

 

le reste

nom de la bibliothèquedescriptionslien (sur un site web)
Texte MachinaUn cadre Python modulaire et extensible conçu pour aider à créer des ensembles de données de haute qualité et non biaisés afin de construire des modèles robustes pour les tâches liées aux TMG telles que la détection, l'attribution et la détection des limites.lien (sur un site web)
Raisonneurs LLMUne bibliothèque pour le raisonnement avancé de modèles linguistiques à grande échelle.lien (sur un site web)
EasyEditUn cadre facile à utiliser pour l'édition des connaissances des modèles de langage à grande échelle.lien (sur un site web)
CodeTFCodeTF : une bibliothèque Transformer unique pour la gestion avancée du code.lien (sur un site web)
espace-llmCet ensemble intègre un modèle de langage large (LLM) dans spaCy avec un système modulaire pour le prototypage rapide et l'incitation, et transforme les réponses non structurées en sorties robustes pour une variété de tâches NLP.lien (sur un site web)
pandas-aiChat avec la base de données de l'utilisateur (SQL, CSV, pandas, polars, MongoDB, NoSQL, etc.).lien (sur un site web)
Outil de transparence du LLMUne boîte à outils interactive à source ouverte pour analyser le fonctionnement interne des modèles de langage basés sur Transformer.lien (sur un site web)
VannaChat avec les bases de données SQL de vos utilisateurs. Génération précise de texte vers SQL en utilisant le LLM de RAG.lien (sur un site web)
mergekitOutils de fusion de modèles linguistiques pré-entraînés à grande échelle.lien (sur un site web)
MarkLLMUne boîte à outils open source pour le filigrane LLM.lien (sur un site web)
LLMSanitizeUne bibliothèque open source pour la détection des contaminations dans les ensembles de données NLP et les grands modèles de langage (LLM).lien (sur un site web)
AnnotateaiAnnoter automatiquement les documents à l'aide de LLM.lien (sur un site web)
Raisonneur LLMSoit un LLM comme OpenAI o1 et DeepSeek Pensez comme R1.lien (sur un site web)
© déclaration de droits d'auteur
AiPPT

Articles connexes

Pas de commentaires

Vous devez être connecté pour participer aux commentaires !
S'inscrire maintenant
aucun
Pas de commentaires...