Déploiement local d'outils Open Source pour les grands modèles

Introduction générale Exo est un projet open source conçu pour faire fonctionner son propre cluster d'IA en utilisant des appareils de tous les jours (par exemple iPhone, iPad, Android, Mac, Linux, etc.). Grâce au partitionnement dynamique des modèles et à la découverte automatisée des appareils, Exo est capable d'unifier plusieurs appareils en un...

Ollama Description générale ollama est un framework léger pour l'exécution de modèles de langage natifs, permettant aux utilisateurs de construire et d'exécuter facilement de grands modèles de langage. Il offre plusieurs options de démarrage rapide et d'installation, supporte Docker, et inclut un riche ensemble de bibliothèques parmi lesquelles les utilisateurs peuvent choisir. Il est simple à utiliser...

Introduction générale KoboldCpp est un logiciel de génération de texte facile à utiliser pour les modèles GGML et GGUF, inspiré de l'original KoboldAI.

Introduction générale LocalAI est une alternative open source à l'IA locale conçue pour fournir des interfaces API compatibles avec OpenAI, Claude et d'autres. Il peut fonctionner sur du matériel grand public, ne nécessite pas de GPU et est capable de générer du texte, de l'audio, de la vidéo, des images et de cloner des...

Introduction complète vLLM est un moteur de raisonnement et de service à haut débit et à mémoire efficace, conçu pour la modélisation des grands langages (LLM). Développé à l'origine par le Sky Computing Lab de l'Université de Californie à Berkeley, il est devenu un moteur...

Pinokio Introduction générale Pinokio est un outil innovant de déploiement de projets d'IA open source qui permet aux utilisateurs d'installer, d'exécuter et de contrôler de manière programmatique une large gamme d'applications liées aux grands modèles en un seul clic. Il est supporté par de multiples plateformes et fournit une bibliothèque de scripts communautaire qui couvre la plupart des...

Introduction générale llama.cpp est une bibliothèque implémentée en C/C++ pur, conçue pour simplifier le processus d'inférence pour les grands modèles de langage (LLM). Elle prend en charge un large éventail de plates-formes matérielles, y compris Apple Silicon, les GPU NVIDIA et les GPU AMD, et fournit une variété de quant...

GPT4All Introduction générale GPT-4All est un projet open source développé par Nomic pour permettre aux utilisateurs d'exécuter de grands modèles linguistiques (LLM) sur des appareils locaux. Le projet met l'accent sur la protection de la vie privée et peut être utilisé sans connexion Internet. Il convient aussi bien aux particuliers qu'aux entreprises...

Introduction générale Hyperspace est un navigateur génératif innovant (aiOS) basé sur le plus grand réseau d'IA peer-to-peer au monde, conçu pour fournir aux utilisateurs des outils puissants pour la recherche et l'analyse approfondies. En intégrant de multiples modèles d'IA et sources de données, Hyperspace permet aux utilisateurs de générer rapidement...

Introduction générale RWKV-Runner est un outil de gestion et de lancement conçu spécifiquement pour les modèles RWKV, visant à fournir un outil de gestion et de lancement RWKV facile à utiliser. Il est entièrement automatisé et de petite taille, seulement 8MB en taille, et offre à la fois avec l'API OpenAI...

Introduction générale LiteLLM est un SDK Python et un serveur proxy développé par BerriAI pour simplifier et unifier l'invocation et la gestion de plusieurs API de grands modèles de langage (LLM). Il supporte plus de 100 API de grands modèles, y compris OpenAI...

Introduction générale Petals est un projet open source développé par le BigScience Workshop pour exécuter de grands modèles de langage (LLM) par le biais d'une approche informatique distribuée. Les utilisateurs peuvent exécuter les LLM chez eux en utilisant des GPU grand public ou Google Co...

Introduction LightLLM est un cadre de raisonnement et de service basé sur Python et basé sur le modèle du grand langage (LLM), connu pour sa conception légère, sa facilité d'extension et ses performances efficaces. Le cadre s'appuie sur une variété d'implémentations open source bien connues, dont FasterTransfor...

Introduction générale Aana SDK est un framework open source développé par Mobius Labs, nommé d'après le mot malayalam ആന (éléphant). Il aide les développeurs à déployer et à gérer rapidement des modèles d'IA multimodaux, en prenant en charge le traitement du texte, des images, de l'audio et de la vidéo, ainsi que d'autres données....

Introduction générale Le moteur Aphrodite est le moteur dorsal officiel de PygmalionAI, conçu pour fournir un point final d'inférence pour les sites PygmalionAI et pour soutenir le déploiement rapide de modèles compatibles avec Hugging Face. Le moteur utilise le p...

Introduction générale Harbor est un ensemble d'outils LLM conteneurisés révolutionnaires visant à simplifier le déploiement et la gestion d'environnements de développement d'IA locaux. Il permet aux développeurs de disposer d'une interface de ligne de commande (CLI) propre et d'une application d'accompagnement à lancer et à gérer en un seul clic, y compris les backends LLM, les interfaces API, les...

Introduction Nexa AI est une plateforme axée sur des solutions d'IA multimodales fonctionnant localement. Elle offre une large gamme de modèles d'IA, y compris le traitement du langage naturel (NLP), la vision par ordinateur, la reconnaissance et la génération de la parole (ASR et TTS), qui peuvent tous être utilisés sur des appareils locaux...

Introduction complète GLM-Edge est une série de grands modèles de langage et de modèles de compréhension multimodale conçus par l'université de Tsinghua (Smart Spectrum Light Language) pour les dispositifs d'extrémité. Ces modèles comprennent GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM...

Introduction générale Transformers.js est une bibliothèque JavaScript développée par Hugging Face pour permettre aux utilisateurs d'exécuter des modèles d'apprentissage automatique de pointe directement dans le navigateur sans support de serveur. La bibliothèque fonctionne en conjonction avec Hugg...

Introduction générale AIStarter est une plateforme gratuite conçue pour simplifier la gestion des projets d'intelligence artificielle. Elle permet de télécharger, d'installer et de partager facilement toutes sortes de projets d'intelligence artificielle open source sous Windows, Mac ou Linux. Elle offre des fonctionnalités prêtes à l'emploi, d'empaquetage et de partage, et dispose d'une forte communauté...

Introduction générale GaiaNet-AI/gaianet-node est un projet open source qui permet aux utilisateurs d'installer rapidement la pile logicielle de nœuds par défaut sur Mac, Linux ou Windows WSL à l'aide d'une seule commande. Les utilisateurs peuvent initialiser les noeuds, personnaliser les configurations, télécharger...

Introduction générale AI Dev Gallery est une application d'outils de développement d'IA de Microsoft (actuellement en avant-première publique) conçue pour les développeurs Windows. Elle fournit une plateforme complète pour aider les développeurs à intégrer facilement des fonctionnalités d'IA dans leurs...

Introduction générale llamafile est un outil du projet Mozilla Builders conçu pour simplifier le déploiement et le fonctionnement du Large Language Model (LLM). En combinant llama.cpp avec Cosmopolitan Libc ...

Introduction générale Transformers.js est une bibliothèque JavaScript fournie par Hugging Face, conçue pour exécuter des modèles d'apprentissage automatique de pointe directement dans le navigateur, sans support de serveur. La bibliothèque fonctionne en conjonction avec Hugging Fa...

Introduction générale llm.pdf est un projet open source qui permet aux utilisateurs d'exécuter de grands modèles de langage (LLM) directement dans des fichiers PDF. Développé par EvanZhouDev et hébergé sur GitHub, ce projet démontre une approche innovante : en...

Introduction complète Xorbits Inference (ou Xinference en abrégé) est une bibliothèque puissante et polyvalente visant à fournir un déploiement distribué et des services pour les modèles de langage, les modèles de reconnaissance vocale et les modèles multimodaux. Avec Xorbits Inference...

Introduction complète LitServe est un moteur de service de modèle d'IA open source de Lightning AI, construit sur FastAPI, axé sur le déploiement rapide de services d'inférence pour les modèles d'IA à usage général. Il prend en charge des modèles allant des grands modèles de langage (LLM) aux modèles...

Introduction générale BrowserAI est un outil open source qui permet aux utilisateurs d'exécuter des modèles d'IA natifs directement dans le navigateur. Il a été développé par l'équipe Cloud-Code-AI et prend en charge des modèles de langage tels que Llama, DeepSeek, Kokoro...