Lokaler Einsatz von Open Source Big Model Tools

Insgesamt 28 Artikel
Aana SDK:简易部署多模态AI模型的开源工具

Aana SDK: Ein Open-Source-Tool für den einfachen Einsatz von multimodalen KI-Modellen

Allgemeine Einführung Aana SDK ist ein von Mobius Labs entwickeltes Open-Source-Framework, benannt nach dem Malayalam-Wort ആന (Elefant). Es hilft Entwicklern, multimodale KI-Modelle schnell einzusetzen und zu verwalten und unterstützt die Verarbeitung von Text, Bildern, Audio und Video sowie anderen Daten...
vor 5 Monaten
01.2K
LitServe:快速部署企业级通用AI模型推理服务

LitServe: schnelle Bereitstellung von universellen KI-Modellinferenzdiensten auf Unternehmensebene

Umfassende Einführung LitServe ist eine Open-Source-KI-Modell-Service-Engine von Lightning AI, die auf FastAPI aufbaut und sich auf die schnelle Bereitstellung von Inferenzdiensten für Allzweck-KI-Modelle konzentriert. Es unterstützt Modelle, die von großen Sprachmodellen (LLMs), visuellen...
vor 5 Monaten
01.1K
Nexa:本地运行的小型多模态AI解决方案

Nexa: eine kleine multimodale KI-Lösung, die lokal läuft

Umfassende Einführung Nexa AI ist eine Plattform, die sich auf multimodale KI-Lösungen konzentriert, die lokal ausgeführt werden. Sie bietet eine breite Palette von KI-Modellen, einschließlich Natural Language Processing (NLP), Computer Vision, Spracherkennung und -generierung (ASR und TTS), die alle auf lokalen Geräten verwendet werden können...
vor 6 Monaten
01.6K
Harbor:一键部署本地LLM开发环境,轻松管理和运行AI服务的容器化工具集

Harbor: ein containerisiertes Toolset zur Bereitstellung lokaler LLM-Entwicklungsumgebungen mit einem Klick und zur einfachen Verwaltung und Ausführung von KI-Diensten

Allgemeine Einführung Harbor ist ein revolutionäres containerisiertes LLM-Toolset, das sich auf die Vereinfachung der Bereitstellung und Verwaltung von lokalen KI-Entwicklungsumgebungen konzentriert. Es ermöglicht Entwicklern mit einer übersichtlichen Befehlszeilenschnittstelle (CLI) und einer Begleitanwendung, die mit einem einzigen Klick gestartet und verwaltet werden kann, LLM-Backends, API-Schnittstellen,...
vor 7 Monaten
01.6K
AI Dev Gallery:Windows本地AI模型开发工具集,端侧模型集成到Windows应用

AI Dev Gallery: Windows Native AI Model Development Toolset, End-Side Model Integration in Windows Anwendungen

Allgemeine Einführung AI Dev Gallery ist eine Anwendung für KI-Entwicklungstools von Microsoft (derzeit in der öffentlichen Vorschau), die für Windows-Entwickler konzipiert ist. Sie bietet eine umfassende Plattform, die Entwicklern hilft, KI-Funktionen einfach in ihre Windo...
vor 7 Monaten
01.6K
LightLLM:高效的轻量级大语言模型推理和服务框架

LightLLM: Ein effizientes, leichtgewichtiges Rahmenwerk für Reasoning und Bedienung großer Sprachmodelle

Umfassende Einführung LightLLM ist ein Python-basiertes Large Language Model (LLM) Argumentations- und Service-Framework, das für sein schlankes Design, seine einfache Erweiterbarkeit und seine effiziente Leistung bekannt ist. Das Framework nutzt eine Vielzahl bekannter Open-Source-Implementierungen, darunter FasterTransfor...
vor 6 Monaten
01.7K
GLM Edge:智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型

GLM Edge: Smart Spectrum veröffentlicht End-Side Big Language Models und Multimodal Understanding Models für Mobile, Car und PC Plattformen

Umfassende Einführung GLM-Edge ist eine Reihe von großen Sprachmodellen und multimodalen Verständnismodellen, die von der Tsinghua-Universität für Endgeräte entwickelt wurden (Smart Spectrum Light Language). Diese Modelle umfassen GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM...
vor 8 Monaten
01.7K
EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。

EXO: Betrieb verteilter KI-Cluster unter Verwendung ungenutzter Haushaltsgeräte, Unterstützung mehrerer Inferenz-Engines und automatischer Geräteerkennung.

Allgemeine Einführung Exo ist ein Open-Source-Projekt, das entwickelt wurde, um seinen eigenen KI-Cluster mit alltäglichen Geräten (z.B. iPhone, iPad, Android, Mac, Linux, etc.) zu betreiben. Durch dynamische Modellpartitionierung und automatische Geräteerkennung ist Exo in der Lage, mehrere Geräte zu einem...
vor 8 Monaten
02.7K
LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API

LocalAI: quelloffene Lösungen für den Einsatz von lokaler KI, Unterstützung für mehrere Modellarchitekturen, einheitliche WebUI-Verwaltung von Modellen und APIs

Allgemeine Einführung LocalAI ist eine Open-Source-Alternative für lokale KI, die API-Schnittstellen bietet, die mit OpenAI, Claude und anderen kompatibel sind. Es unterstützt die Ausführung auf Consumer-Hardware, benötigt keine GPU und ist in der Lage, Text, Audio, Video, Bilderzeugung und Sprachklonen für mehrere...
vor 9 Monaten
02.3K
Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源

Petals: verteilte gemeinsame GPU-Ausführung und Feinabstimmung großer Sprachmodelle, gemeinsame Nutzung von GPU-Ressourcen wie ein BitTorrent-Netzwerk

Allgemeine Einführung Petals ist ein Open-Source-Projekt, das vom BigScience Workshop entwickelt wurde, um große Sprachmodelle (Large Language Models, LLMs) über einen verteilten Rechenansatz auszuführen. Benutzer können LLMs zu Hause mit Consumer-grade GPUs oder Google Co...
vor 9 Monaten
02K
Aphrodite Engine:高效的LLM推理引擎,支持多种量化格式和分布式推理。

Aphrodite Engine: eine effiziente LLM-Inferenzmaschine, die mehrere Quantisierungsformate und verteilte Inferenz unterstützt.

Allgemeine Einführung Die Aphrodite-Engine ist die offizielle Backend-Engine für PygmalionAI. Sie wurde entwickelt, um einen Inferenz-Endpunkt für PygmalionAI-Sites bereitzustellen und die schnelle Bereitstellung von Hugging-Face-kompatiblen Modellen zu unterstützen. Die Engine nutzt vLLM's p...
vor 9 Monaten
01.6K
llama.cpp:高效推理工具,支持多种硬件,轻松实现LLM推理

llama.cpp: effizientes Inferenzwerkzeug, unterstützt mehrere Hardware, einfach zu implementierende LLM-Inferenz

Allgemeine Einführung llama.cpp ist eine in reinem C/C++ implementierte Bibliothek, die den Inferenzprozess für Large Language Models (LLMs) vereinfachen soll. Sie unterstützt eine breite Palette von Hardware-Plattformen, einschließlich Apple Silicon, NVIDIA GPUs und AMD GPUs, und bietet eine Vielzahl von...
vor 6 Monaten
02K
Hyperspace(aiOS):分布式AI算力共享网络,aiOS生成式浏览器,深度知识智能体

Hyperspace (aiOS): verteiltes KI-Netzwerk zur gemeinsamen Nutzung von Arithmetik, generativer aiOS-Browser, tiefe Wissensintelligenz

Allgemeine Einführung Hyperspace ist ein innovativer generativer Browser (aiOS), der auf dem weltweit größten Peer-to-Peer-KI-Netzwerk basiert und den Nutzern leistungsstarke Werkzeuge für tiefgreifende Forschung und Analyse bietet. Durch die Integration mehrerer KI-Modelle und Datenquellen ermöglicht es Hyperspace den Nutzern, schnell...
vor 5 Monaten
02K
LiteLLM:统一调用多种大模型API的Python SDK,多平台LLM调用与管理工具

LiteLLM: Python SDK für den einheitlichen Aufruf mehrerer Big Model APIs, plattformübergreifendes LLM-Aufruf- und Verwaltungswerkzeug

Allgemeine Einführung LiteLLM ist ein Python SDK und Proxy-Server, der von BerriAI entwickelt wurde, um den Aufruf und die Verwaltung mehrerer Large Language Model (LLM) APIs zu vereinfachen und zu vereinheitlichen. Es unterstützt über 100 Large Model APIs, einschließlich OpenAI...
vor 6 Monaten
02K
RWKV Runner:开源大型语言模型RWKV管理工具

RWKV Runner: quelloffenes Tool zur Verwaltung des RWKV-Sprachmodells in großem Maßstab

Allgemeine Einführung RWKV-Runner ist ein Verwaltungs- und Starttool, das speziell für RWKV-Modelle entwickelt wurde und darauf abzielt, ein einfach zu bedienendes RWKV-Verwaltungs- und Starttool zu bieten. Es ist vollständig automatisiert und klein, nur 8MB groß, und bietet sowohl mit der OpenAI API...
vor 9 Monaten
02K
AIStarter:一键部署各类热门AI开源项目的管理软件

AIStarter: Ein-Klick-Bereitstellung aller Arten von beliebter AI-Open-Source-Projektmanagement-Software

Allgemeine Einführung AIStarter ist eine kostenlose Plattform, die die Verwaltung von KI-Projekten vereinfacht und den einfachen Download, die Installation und den Austausch aller Arten von beliebten KI-Open-Source-Projekten unter Windows, Mac oder Linux unterstützt. Es bietet Out-of-the-Box-, Paketierungs- und Sharing-Funktionen und hat eine starke Community...
vor 9 Monaten
11.7K
GPT4All:支持CPU运行的大型语言模型客户端,重视本地化与数据安全

GPT4All: Ein großer Sprachmodell-Client mit CPU-Laufzeitunterstützung, der sich auf Lokalisierung und Datensicherheit konzentriert

GPT4All Allgemeine Einführung GPT-4All ist ein Open-Source-Projekt, das von Nomic entwickelt wurde, um Benutzern die Ausführung von Large Language Models (LLMs) auf lokalen Geräten zu ermöglichen. Das Projekt legt Wert auf den Schutz der Privatsphäre und kann ohne Internetverbindung genutzt werden. Es eignet sich sowohl für private als auch für geschäftliche Nutzer...
vor 4 Monaten
02.1K
GaiaNet node:安装和运行自己的本地模型在线代理服务

GaiaNet-Knoten: Installieren und betreiben Sie Ihren eigenen lokalen Modell-Online-Proxy-Dienst

Allgemeine Einführung GaiaNet-AI/gaianet-node ist ein Open-Source-Projekt, das es Nutzern ermöglicht, den Standard-Node-Software-Stack auf Mac, Linux oder Windows WSL mit einem einzigen Befehl schnell zu installieren. Benutzer können Knoten initialisieren, Konfigurationen anpassen,...
vor 11 Monaten
01.5K
Pinokio:一键本地部署各类AI开源项目,小白全自动部署

Pinokio: lokale Bereitstellung aller Arten von KI-Open-Source-Projekten mit einem Mausklick, vollautomatische Bereitstellung von White People

Pinokio Allgemeine Einführung Pinokio ist ein innovatives Open-Source-Tool zur Bereitstellung von KI-Projekten, mit dem Benutzer eine breite Palette von Big-Model-Anwendungen mit einem einzigen Mausklick installieren, ausführen und programmatisch steuern können. Es wird über mehrere Plattformen hinweg unterstützt und bietet eine Community-Skriptbibliothek, die die meisten...
vor 12 Monaten
02.2K
Ollama:本地一键部署开源大语言模型

Ollama: Native Ein-Klick-Bereitstellung von Open Source Big Language-Modellen

Ollama Allgemeine Beschreibung ollama ist ein leichtgewichtiges Framework für die Ausführung von nativen Sprachmodellen, mit dem Benutzer problemlos große Sprachmodelle erstellen und ausführen können. Es bietet mehrere Schnellstart- und Installationsoptionen, unterstützt Docker und enthält eine Vielzahl von Bibliotheken, aus denen der Benutzer wählen kann. Es ist einfach zu benutzen...
vor 6 Monaten
03.2K