Klee: KI-Makromodelle lokal auf dem Desktop ausführen und eine private Wissensdatenbank verwalten

Allgemeine Einführung

Klee ist eine Open-Source-Desktop-Anwendung, die Benutzern helfen soll, Open-Source-LLMs (Large Language Models) lokal auszuführen, mit sicherer privater Wissensdatenbankverwaltung und Markdown-Notizfunktionen. Sie basiert auf Ollama Klee basiert auf der LlamaIndex-Technologie und ermöglicht es den Nutzern, KI-Modelle mit einfachen Operationen herunterzuladen und auszuführen. Die gesamte Datenverarbeitung erfolgt lokal, ohne dass eine Verbindung zum Internet oder ein Upload in die Cloud erforderlich ist, wodurch Datenschutz und Sicherheit gewährleistet werden. Klee bietet eine intuitive Benutzeroberfläche für Windows, MacOS und Linux, die es sowohl technischen Entwicklern als auch Gelegenheitsnutzern leicht macht, Texte zu erstellen, Dokumente zu analysieren und Wissen zu organisieren. Klee wird derzeit auf GitHub als Open Source zur Verfügung gestellt und wird von der Community gut angenommen. Die Nutzer können Klee herunterladen, anpassen oder sich an der Entwicklung beteiligen.

Funktionsliste

• Herunterladen und Ausführen großer Sprachmodelle mit einem KlickDownload und Ausführung von Open Source LLM direkt von Ollama über die Schnittstelle, ohne die Umgebung manuell konfigurieren zu müssen.
• Verwaltung der lokalen WissensbasisUnterstützung für das Hochladen von Dateien und Ordnern, um einen privaten Wissensindex zu erstellen und diesen für die KI zur Abfrage bereitzustellen.
• Erstellung von Markdown-NotizenAutomatisches Speichern von KI-Dialogen oder Analyseergebnissen im Markdown-Format zur einfachen Dokumentation und Bearbeitung.
• Vollständige Offline-NutzungEs ist keine Internetverbindung erforderlich, alle Funktionen werden lokal ausgeführt und es werden keine Benutzerdaten gesammelt.
• Plattformübergreifende UnterstützungKompatibel mit Windows-, MacOS- und Linux-Systemen für ein einheitliches Erlebnis.
• Open Source und anpassbarDer vollständige Quellcode wird zur Verfügung gestellt, um die Modifikation von Funktionen durch den Benutzer oder die Teilnahme an Beiträgen der Gemeinschaft zu unterstützen.

Hilfe verwenden

Ablauf der Installation

Die Installation von Klee gliedert sich in zwei Teile: Client (klee-client) und Server (klee-service), im Folgenden werden die einzelnen Schritte beschrieben:

1. die Systemanforderungen

• BetriebssystemWindows 7+, macOS 15.0+ oder Linux.
• Software-Abhängigkeit::
  • Node.js 20.x oder höher.
  • Yarn 1.22.19 oder höher.
  • Python 3.x (Server-seitig erforderlich, 3.12+ empfohlen).
  • Git (zum Klonen von Repositories).
• Hardware-VoraussetzungMindestens 8 GB RAM, 16 GB oder mehr empfohlen, um größere Modelle auszuführen.

2. installieren Sie den Client (klee-client)

1. Client-Repository klonen::
   Läuft im Terminal:

git clone https://github.com/signerlabs/klee-client.git
cd klee-client

2. Installation von Abhängigkeiten::

Garn installieren

3. Umgebungsvariablen konfigurieren::

• Kopieren Sie die Beispieldatei:

  cp .env.example .env
  

• Compiler .env Datei ist die Standardkonfiguration wie folgt:

  VITE_USE_SUPABASE=false
  VITE_OLLAMA_BASE_URL=http://localhost:11434
  VITE_REQUEST_PREFIX_URL=http://localhost:6190
  

  Wenn der Server-Port oder die Adresse anders ist, passen Sie bitte die VITE_ANFORDERUNG_PREFIX_URL.

4. Betrieb im Entwicklungsmodus::

Garnentwicklung

Dadurch werden der Vite Development Server und die Electron-Anwendung gestartet.
5. Verpackungsanwendung (optional)::

Garnaufbau

Die verpackte Datei befindet sich unter dist Katalog.
6. MacOS-Signatur (optional)::

• Compiler .env Fügen Sie eine Apple ID und Teaminformationen hinzu:

  APPLEID=your_apple_id@example.com
  APPLEIDPASS=Ihr_Kennwort
  APPLETEAMID=Ihre_Team_ID
  

• in Bewegung sein Garnaufbau Danach können Sie eine signierte Anwendung erstellen.

3. die Installation des Servers (klee-service)

1. Klonen des serverseitigen Repositorys::

git clone https://github.com/signerlabs/klee-service.git
cd klee-service

2. Erstellen einer virtuellen Umgebung::

• Fenster:

  python -m venv venv
  venv\Scripts\aktivieren
  

• MacOS/Linux:

  python3 -m venv venv
  Quelle venv/bin/activate
  

3. Installation von Abhängigkeiten::

pip install -r anforderungen.txt

4. Neue Dienste::

python main.py

Der Standardport ist 6190, falls Sie ihn ändern müssen:

python main.py --port benutzerdefinierte Portnummer

Der Dienst muss nach dem Start weiterlaufen.

4. vorkompilierte Version herunterladen (optional)

• Interviews GitHub VeröffentlichungenLaden Sie das Installationspaket für Ihr System herunter.
• Entpacken Sie es und führen Sie es sofort aus, Sie müssen es nicht manuell erstellen.

Hauptfunktionen

Große Sprachmodelle mit einem Klick ausführen

1. eine Anwendung starten::

• Stellen Sie sicher, dass der Server läuft und öffnen Sie die Client-Anwendung.

2. Modelle herunterladen::

• Wählen Sie ein von Ollama unterstütztes Modell (z.B. LLaMA, Mistral) in der Schnittstelle aus.
• Klicken Sie auf die Schaltfläche "Herunterladen" und Klee wird das Modell automatisch lokal herunterladen.

3. Betriebsmodell::

• Sobald der Download abgeschlossen ist, klicken Sie auf "Ausführen", um das Modell in den Speicher zu laden.
• Geben Sie eine Frage oder einen Befehl in das Dialogfeld ein und klicken Sie auf "Senden", um eine Antwort zu erhalten.

4. caveat::

• Das erstmalige Laden des Modells kann einige Minuten dauern, je nach Modellgröße und Hardwareleistung.
• Wenn Sie keine Antwort erhalten, prüfen Sie, ob der Server auf dem http://localhost:6190.

Verwaltung der lokalen Wissensbasis

1. Hochladen von Dateien::

• Klicken Sie in der Benutzeroberfläche auf die Option "Wissen".
• Unterstützung von Drag-and-Drop oder manueller Auswahl von Dateien/Ordnern (unterstützt PDF, TXT, etc.).

2. Aufbau eines Index::

• Nach dem Hochladen erstellt LlamaIndex automatisch einen Index für die Datei.
• Sobald die Indizierung abgeschlossen ist, kann der Inhalt des Dokuments durch KI abgerufen werden.

3. Abfragen der Wissensdatenbank::

• Markieren Sie im Dialogfenster "Wissensdatenbank verwenden" und geben Sie Ihre Frage ein.
• Die KI generiert Antworten in Verbindung mit den Inhalten der Wissensdatenbank.

4. Verwaltung der Wissensbasis::

• Sie können Dateien auf dem Wissensbildschirm löschen oder aktualisieren.

Erstellung von Markdown-Notizen

1. Speichern von Notizen::

• Wenn die KI antwortet, klicken Sie auf die Schaltfläche "Als Notiz speichern".
• Das System speichert den Inhalt automatisch im Markdown-Format.

2. Management-Anmerkungen::

• Zeigen Sie alle Notizen auf dem Bildschirm Notizen an.
• Unterstützt das Bearbeiten, Exportieren (Speichern als .md-Datei) oder Löschen.

3. Verwendungsszenarien::

• Ideal für die Aufzeichnung von AI-Analyseergebnissen, Studiennotizen oder Arbeitszusammenfassungen.

Ausgewählte Funktionen

Vollständige Offline-Nutzung

• Arbeitsweise::
• Einmal installiert, funktionieren alle Funktionen auch ohne Netzwerk.
• Laden Sie das Modell herunter und trennen Sie die Internetverbindung, und es funktioniert immer noch.
• Datensicherheit::
• Klee sammelt keine Benutzerdaten und alle Dateien und Konversationen werden nur lokal gespeichert.
• Die Protokolle werden nur zu Debugging-Zwecken verwendet und nicht auf externe Server hochgeladen.

Open Source und Beiträge der Gemeinschaft

• Abrufen des Quellcodes::
• Interviews GitHub-Repositorienund laden Sie den Code herunter.
• Art des Beitrags::
• Reichen Sie einen Pull Request ein, um eine Funktion hinzuzufügen oder einen Fehler zu beheben.
• Nehmen Sie an GitHub Issues-Diskussionen teil, um die Dokumentation zu optimieren oder Anwendungen zu fördern.
• Maßgeschneiderte Methoden::
• Ändern Sie die Serverseite, um andere Modelle oder APIs zu unterstützen.
• Anpassung der Kundenschnittstelle, Vertrautheit mit Reagieren Sie und Electron.

Empfehlungen für die Verwendung

• LeistungsoptimierungBei der Ausführung großer Modelle (z.B. 13B Parameter) wird 16GB+ RAM oder GPU-Beschleunigung empfohlen.
• ModellauswahlEin kleineres Modell (z. B. 7B-Parameter) kann zum ersten Mal für einen Test ausgewählt werden.
• Frage Feedback: auf GitHub oder Diskord Suchen Sie Hilfe.

Mit diesen Schritten können die Benutzer Klee schnell installieren und verwenden, um den Komfort der lokalisierten KI zu genießen.