Despliegue local de herramientas Big Model de código abierto

Introducción general llm.pdf es un proyecto de código abierto que permite a los usuarios ejecutar grandes modelos lingüísticos (LLM) directamente en archivos PDF. Desarrollado por EvanZhouDev y alojado en GitHub, este proyecto demuestra un enfoque innovador: al Em...

Introducción general Aana SDK es un marco de código abierto desarrollado por Mobius Labs, llamado así por la palabra malayalam ആന (elefante). Ayuda a los desarrolladores a desplegar y gestionar rápidamente modelos multimodales de IA, admitiendo el procesamiento de texto, imágenes, audio y vídeo, y otros datos....

Introducción general BrowserAI es una herramienta de código abierto que permite a los usuarios ejecutar modelos nativos de IA directamente en el navegador. Ha sido desarrollada por el equipo Cloud-Code-AI y es compatible con modelos lingüísticos como Llama, DeepSeek, Kokoro...

Introducción completa LitServe es un motor de servicios de modelos de IA de código abierto de Lightning AI, basado en FastAPI, centrado en el despliegue rápido de servicios de inferencia para modelos de IA de propósito general. Admite modelos que van desde grandes modelos de lenguaje (LLM),...

Introducción completa Nexa AI es una plataforma centrada en soluciones de IA multimodal que se ejecutan localmente. Ofrece una amplia gama de modelos de IA, incluidos el procesamiento del lenguaje natural (PLN), la visión por ordenador y el reconocimiento y la generación del habla (ASR y TTS), todos los cuales pueden utilizarse en dispositivos locales....

Introducción vLLM es un motor de razonamiento y servicio de alto rendimiento y memoria eficiente diseñado para el modelado de grandes lenguajes (LLM). Desarrollado originalmente por el Sky Computing Lab de la Universidad de California, Berkeley, se ha convertido en un...

Introducción general Transformers.js es una biblioteca JavaScript proporcionada por Hugging Face diseñada para ejecutar modelos de aprendizaje automático de última generación directamente en el navegador, sin soporte de servidor. La librería funciona conjuntamente con la plataforma Hugging Fa...

Introducción general Harbor es un revolucionario conjunto de herramientas LLM en contenedores centrado en simplificar el despliegue y la gestión de entornos de desarrollo de IA locales. Ofrece a los desarrolladores una interfaz de línea de comandos (CLI) limpia y una aplicación complementaria para lanzar y gestionar con un solo clic, incluyendo backends LLM, interfaces API,...

Introducción completa Xorbits Inference (o Xinference para abreviar) es una biblioteca potente y versátil centrada en proporcionar despliegue y servicios distribuidos para modelos lingüísticos, modelos de reconocimiento del habla y modelos multimodales. Con Xorbits Inference...

Introducción general AI Dev Gallery es una aplicación de herramientas de desarrollo de IA de Microsoft (actualmente en vista previa pública) diseñada para desarrolladores de Windows. Proporciona una plataforma completa para ayudar a los desarrolladores a integrar fácilmente las funciones de IA en sus aplicaciones Windo...

Introducción exhaustiva LightLLM es un marco de razonamiento y servicio basado en Python de Large Language Model (LLM) conocido por su diseño ligero, facilidad de extensión y rendimiento eficiente. El marco aprovecha una variedad de implementaciones de código abierto bien conocidas, incluyendo FasterTransfor...

Introducción general Transformers.js es una biblioteca JavaScript desarrollada por Hugging Face para permitir a los usuarios ejecutar modelos de aprendizaje automático de última generación directamente en el navegador sin soporte de servidor. La biblioteca funciona junto con Hugg...

Introducción general GLM-Edge es una serie de grandes modelos de lenguaje y modelos de comprensión multimodal diseñados para dispositivos finales de la Universidad de Tsinghua (Smart Spectrum Light Language). Estos modelos incluyen GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM...

Introducción general Exo es un proyecto de código abierto diseñado para ejecutar su propio clúster de IA utilizando dispositivos cotidianos (por ejemplo, iPhone, iPad, Android, Mac, Linux, etc.). Mediante la partición dinámica de modelos y el descubrimiento automatizado de dispositivos, Exo es capaz de unificar múltiples dispositivos en un potente...

Introducción general LocalAI es una alternativa de IA local de código abierto diseñada para proporcionar interfaces API compatibles con OpenAI, Claude y otros. Admite la ejecución en hardware de consumo, no requiere GPU y es capaz de generar texto, audio, vídeo, imágenes y clonación de voz para múltiples...

Introducción general llamafile es una herramienta del proyecto Mozilla Builders diseñada para simplificar el despliegue y funcionamiento del Large Language Model (LLM). Combinando llama.cpp con Cosmopolitan Libc ...

Introducción general Petals es un proyecto de código abierto desarrollado por BigScience Workshop para ejecutar grandes modelos lingüísticos (LLM) mediante un enfoque de computación distribuida. Los usuarios pueden ejecutar LLMs en casa utilizando GPUs de consumo o Google Co...

Introducción general El motor Aphrodite es el motor backend oficial de PygmalionAI, diseñado para proporcionar un punto final de inferencia para los sitios de PygmalionAI y para soportar el despliegue rápido de modelos compatibles con Hugging Face. El motor utiliza el p...

Introducción general llama.cpp es una biblioteca implementada en C/C++ puro diseñada para simplificar el proceso de inferencia de los Modelos de Lenguaje Grande (LLM). Es compatible con una amplia gama de plataformas de hardware, incluyendo Apple Silicon, GPUs NVIDIA y GPUs AMD, y proporciona una variedad de cuant...

Introducción general Hyperspace es un innovador navegador generativo (aiOS) basado en la mayor red de IA peer-to-peer del mundo, diseñado para proporcionar a los usuarios potentes herramientas para la investigación y el análisis en profundidad. Al integrar múltiples modelos de IA y fuentes de datos, Hyperspace permite a los usuarios generar rápidamente...

Introducción general LiteLLM es un SDK de Python y servidor proxy desarrollado por BerriAI para simplificar y unificar la invocación y gestión de múltiples APIs de Large Language Model (LLM). Soporta más de 100 APIs de grandes modelos, incluyendo OpenAI...

Introducción general RWKV-Runner es una herramienta de gestión y lanzamiento diseñada específicamente para modelos RWKV, con el objetivo de proporcionar una herramienta de gestión y lanzamiento RWKV fácil de usar. Es totalmente automatizado y de pequeño tamaño, sólo 8MB de tamaño, y ofrece tanto con la API OpenAI...

Introducción general AIStarter es una plataforma gratuita diseñada para simplificar la gestión de proyectos de IA, que permite descargar, instalar y compartir fácilmente todo tipo de proyectos populares de IA de código abierto en Windows, Mac o Linux. Ofrece funciones de empaquetado y compartición listas para usar, y cuenta con una sólida comunidad...

Introducción general KoboldCpp es un software de generación de texto de IA fácil de usar para modelos GGML y GGUF, inspirado en el KoboldAI original.Es una única versión autocontenida distribuible proporcionada por Concedo, basada en...

GPT4All Introducción general GPT-4All es un proyecto de código abierto desarrollado por Nomic para permitir a los usuarios ejecutar Grandes Modelos Lingüísticos (LLM) en dispositivos locales. El proyecto hace hincapié en la protección de la privacidad y puede utilizarse sin conexión a Internet, y es adecuado tanto para usuarios personales como profesionales...

Introducción general GaiaNet-AI/gaianet-node es un proyecto de código abierto que permite a los usuarios instalar rápidamente la pila de software de nodos por defecto en Mac, Linux o Windows WSL con un solo comando. Los usuarios pueden inicializar nodos, personalizar configuraciones, descargar...

Pinokio Introducción general Pinokio es una innovadora herramienta de despliegue de proyectos de código abierto de IA que permite a los usuarios instalar, ejecutar y controlar mediante programación una amplia gama de aplicaciones relacionadas con grandes modelos con un solo clic. Es compatible con múltiples plataformas y proporciona una biblioteca de scripting de la comunidad que cubre la mayoría de...

Ollama Descripción general ollama es un framework ligero para ejecutar modelos lingüísticos nativos, que permite a los usuarios construir y ejecutar fácilmente grandes modelos lingüísticos. Ofrece múltiples opciones de inicio rápido e instalación, soporta Docker, e incluye un rico conjunto de bibliotecas para que los usuarios elijan. Es fácil de usar...