AI Personal Learning
und praktische Anleitung

GPT4All: Ein auf CPUs laufender Client für große Sprachmodelle mit Schwerpunkt auf Lokalisierung und Datensicherheit

GPT4All Allgemeine Einführung

GPT-4All ist ein Open-Source-Projekt, das von Nomic entwickelt wurde, um Benutzern die Ausführung von Large Language Models (LLMs) auf lokalen Geräten zu ermöglichen. GPT-4All unterstützt eine breite Palette von Hardware, darunter Mac-Chips der M-Serie, AMD- und NVIDIA-Grafikprozessoren, und kann von den Nutzern sowohl auf Desktop- als auch auf Laptop-Computern problemlos ausgeführt werden. Das Projekt bietet außerdem ein umfangreiches Open-Source-Modell und Community-Support, so dass die Nutzer den Chatbot nach ihren Bedürfnissen anpassen können.

 

GPT4All ist ein Ökosystem für die Ausführung leistungsstarker und angepasster Sprachmodelle in großem Maßstab, die nativ auf Consumer-CPUs und jeder GPU laufen. Bitte beachten Sie, dass Ihre CPU AVX- oder AVX2-Anweisungen unterstützen muss.


Das GPT4All-Modell ist eine 3 bis 8 GB große Datei, die Sie herunterladen und in das Open-Source-Ökosystem GPT4All einfügen können. nomic AI unterstützt und pflegt dieses Software-Ökosystem, um Qualität und Sicherheit zu gewährleisten, und ist führend in dem Bestreben, es jedem Einzelnen oder jeder Organisation leicht zu machen, ihre eigenen groß angelegten Sprachmodelle zu trainieren und einzusetzen.

Es benötigt weder einen Grafikprozessor noch eine Internetverbindung und ist auf dem M1 Mac in der Lage, Echtzeit-Inferenzen zu erstellen.

 

GPT4All: Ein lokal betriebenes privates intelligentes Sprachmodell-1

 

GPT4All: Ein lokal betriebenes privates intelligentes Sprachmodell-1

 

GPT4All: Ein lokal laufendes privates intelligentes Sprachmodell-2

 

Charakterisierung

Ihr Chat ist privat und verlässt nie Ihr Gerät!
Für GPT4All haben Datenschutz und Sicherheit oberste Priorität. Verwenden Sie LLM, um Ihre sensiblen lokalen Daten zu verwalten, die Ihr Gerät nie verlassen.

Ausführen von Sprachmodellen auf Consumer-Hardware
GPT4All ermöglicht es Ihnen, LLM sowohl auf CPUs als auch auf GPUs auszuführen, mit voller Unterstützung für Chips der Mac M-Serie, AMD und NVIDIA GPUs.

Chat mit lokalen Dateien
Nutzen Sie LocalDocs, um Ihrem lokalen LLM Zugriff auf Ihre privaten und sensiblen Informationen zu gewähren. Es funktioniert ohne Internet und keine Daten verlassen Ihr Gerät.

Erforschen Sie über 1000 Open-Source-Sprachmodelle
GPT4All unterstützt LLaMa, Mistral, Nous-Hermes und Hunderte anderer bekannter Modelle.

 

Funktionsliste

  • lokaler Betrieb: Führen Sie LLMs auf Ihrem lokalen Gerät ohne Internetverbindung aus.
  • DatenschutzAlle Daten werden lokal gespeichert, um die Privatsphäre der Nutzer zu schützen.
  • Unterstützung mehrerer HardwareKompatibel mit Mac M-Serien-Chips, AMD- und NVIDIA-GPUs.
  • Open-Source-Gemeinschaft: Umfangreiche Open-Source-Modelle und Unterstützung durch die Gemeinschaft.
  • PersonalisierungBenutzer können die Systemaufforderungen des Chatbots, die Temperatur, die Kontextlänge und andere Parameter anpassen.
  • Enterprise-AusgabeBietet Unterstützung und Funktionen auf Unternehmensebene für umfangreiche Implementierungen.

 

Hilfe verwenden

Ablauf der Installation

  1. Download der Bewerbung::
    • Interviews Nomic Offizielle Website Laden Sie das Installationspaket für Windows, macOS oder Ubuntu herunter.
    • Windows- und Linux-Benutzer sollten sicherstellen, dass das Gerät mit einem Intel Core i3 2nd Gen / AMD Bulldozer oder einem höheren Prozessor ausgestattet ist.
    • macOS-Benutzer benötigen Monterey 12.6 oder höher, das am besten auf den Apple Silicon M-Serien-Prozessoren funktioniert.
  2. Installation von Anwendungen::
    • Windows-Benutzer: Führen Sie das heruntergeladene Installationspaket aus und folgen Sie den Anweisungen, um die Installation abzuschließen.
    • macOS-Benutzer: Ziehen Sie die heruntergeladene Anwendung in den Ordner "Programme".
    • Ubuntu-Benutzer: Installieren Sie die heruntergeladene Paketdatei über die Befehlszeile.
  3. Starten Sie die Anwendung::
    • Sobald die Installation abgeschlossen ist, öffnen Sie die Anwendung GPT-4All und folgen Sie den Anweisungen für die Ersteinrichtung.

Richtlinien für die Verwendung

  1. Ausführung des lokalen Modells::
    • Nach dem Öffnen der Anwendung wählen Sie das gewünschte Sprachmodell zum Herunterladen und Laden aus.
    • Eine breite Palette von Modellen wird unterstützt, darunter LLaMa, Mistral, Nous-Hermes und andere.
  2. Benutzerdefinierte Chatbots::
    • Passen Sie Parameter wie Systemwarnungen, Temperatur und Kontextlänge in den Einstellungen an, um das Chat-Erlebnis zu optimieren.
    • Verwenden Sie die LocalDocs-Funktion, um lokalen LLMs den Zugriff auf Ihre privaten Daten ohne Internetverbindung zu ermöglichen.
  3. Merkmale der Enterprise Edition::
    • Geschäftskunden können sich an Nomic wenden, um eine Enterprise Edition-Lizenz zu erwerben, die zusätzlichen Support und zusätzliche Funktionen bietet.
    • Die Enterprise Edition eignet sich für groß angelegte Implementierungen und bietet erweiterte Sicherheit und Support.
  4. Unterstützung der Gemeinschaft::
    • Treten Sie der GPT-4All-Community bei, um an Diskussionen teilzunehmen und Code beizusteuern.
    • Interviews GitHub-Repository Holen Sie sich die neuesten Updates und Dokumentationen.

allgemeine Probleme

  • Wie gewährleisten Sie den Datenschutz? GPT-4All Alle Daten werden lokal auf dem Gerät gespeichert, so dass die Privatsphäre des Nutzers nicht verletzt wird.
  • Ist eine Internetverbindung erforderlich? Nein. Der GPT-4All kann komplett offline auf einem lokalen Gerät betrieben werden.
  • Welche Hardware wird unterstützt? Unterstützt Mac M-Serien-Chips, AMD- und NVIDIA-Grafikprozessoren sowie gängige Desktop- und Laptop-Computer.

 

GPT4All-Modell-Benchmarking

 

Modell BoolQ PIQA HellaSwag WinoGrande ARC-e ARC-c OBQA Avg
GPT4All-J 6B v1.0 73.4 74.8 63.4 64.7 54.9 36 40.2 58.2
GPT4All-J v1.1-breezy 74 75.1 63.2 63.6 55.4 34.9 38.4 57.8
GPT4All-J v1.2-jazzy 74.8 74.9 63.6 63.8 56.6 35.3 41 58.6
GPT4All-J v1.3-groovy 73.6 74.3 63.8 63.5 57.7 35 38.8 58.1
GPT4All-J Lora 6B 68.6 75.8 66.2 63.5 56.4 35.7 40.2 58.1
GPT4All LLaMa Lora 7B 73.1 77.6 72.1 67.8 51.1 40.4 40.2 60.3
GPT4All 13B snoozy 83.3 79.2 75 71.3 60.9 44.2 43.4 65.3
GPT4All-Falke 77.6 79.8 74.9 70.1 67.9 43.4 42.6 65.2
Nous-Hermes 79.5 78.9 80 71.9 74.2 50.9 46.4 68.8
Nous-Hermes2 83.9 80.7 80.1 71.3 75.7 52.1 46.2 70.0
Nous-Puffin 81.5 80.7 80.4 72.5 77.6 50.7 45.6 69.9
Dolly 6B 68.8 77.3 67.6 63.9 62.9 38.7 41.2 60.1
Dolly 12B 56.7 75.4 71 62.2 64.6 38.5 40.4 58.4
Alpaka 7B 73.9 77.2 73.9 66.1 59.8 43.3 43.4 62.5
Alpaka Lora 7B 74.3 79.3 74 68.8 56.6 43.9 42.6 62.8
GPT-J 6.7B 65.4 76.2 66.2 64.1 62.2 36.6 38.2 58.4
LLama 7B 73.1 77.4 73 66.9 52.5 41.4 42.4 61.0
LLama 13B 68.5 79.1 76.2 70.1 60 44.6 42.2 63.0
Pythia 6.7B 63.5 76.3 64 61.1 61.3 35.2 37.2 56.9
Pythia 12B 67.7 76.6 67.3 63.8 63.9 34.8 38 58.9
Fastchat T5 81.5 64.6 46.3 61.8 49.3 33.3 39.4 53.7
Fastchat Vicuña 7B 76.6 77.2 70.7 67.3 53.5 41.2 40.8 61.0
Fastchat Vicuña 13B 81.5 76.8 73.3 66.7 57.4 42.7 43.6 63.1
StallVicuña RLHF 82.3 78.6 74.1 70.9 61 43.5 44.4 65.0
StableLM Abgestimmt 62.5 71.2 53.6 54.8 52.4 31.1 33.4 51.3
StableLM Basis 60.1 67.4 41.2 50.1 44.9 27 32 46.1
Koala 13B 76.5 77.9 72.6 68.8 54.3 41 42.8 62.0
Offene Assistentin Pythia 12B 67.9 78 68.1 65 64.2 40.4 43.2 61.0
Mosaik MPT7B 74.8 79.3 76.3 68.6 70 42.2 42.6 64.8
Mosaik mpt-Anleitung 74.3 80.4 77.2 67.8 72.2 44.6 43 65.6
Mosaik mpt-chat 77.1 78.2 74.5 67.5 69.4 43.3 44.2 64.9
Zauberer 7B 78.4 77.2 69.9 66.5 56.8 40.5 42.6 61.7
Wizard 7B Unzensiert 77.7 74.2 68 65.2 53.5 38.7 41.6 59.8
Wizard 13B Unzensiert 78.4 75.5 72.1 69.5 57.5 40.4 44 62.5
GPT4-x-Vicuna-13b 81.3 75 75.2 65 58.7 43.9 43.6 63.2
Falke 7b 73.6 80.7 76.3 67.3 71 43.3 44.4 65.2
Falcon 7b instruieren 70.9 78.6 69.8 66.7 67.9 42.7 41.2 62.5
text-davinci-003 88.1 83.8 83.4 75.8 83.9 63.9 51 75.7
AI Leichtes Lernen

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>
Darf nicht ohne Genehmigung vervielfältigt werden:Chef-KI-Austauschkreis " GPT4All: Ein auf CPUs laufender Client für große Sprachmodelle mit Schwerpunkt auf Lokalisierung und Datensicherheit

Chef-KI-Austauschkreis

Der Chief AI Sharing Circle konzentriert sich auf das KI-Lernen und bietet umfassende KI-Lerninhalte, KI-Tools und praktische Anleitungen. Unser Ziel ist es, den Nutzern dabei zu helfen, die KI-Technologie zu beherrschen und gemeinsam das unbegrenzte Potenzial der KI durch hochwertige Inhalte und den Austausch praktischer Erfahrungen zu erkunden. Egal, ob Sie ein KI-Anfänger oder ein erfahrener Experte sind, dies ist der ideale Ort für Sie, um Wissen zu erwerben, Ihre Fähigkeiten zu verbessern und Innovationen zu verwirklichen.

Kontaktieren Sie uns
de_DE_formalDeutsch (Sie)