PocketPal AI: ein kleines Chat-Tool zur Sprachmodellierung für die Offline-Nutzung auf iOS- und Android-Geräten

Allgemeine Einführung

PocketPal AI ist eine quelloffene mobile App, die Small Language Models (SLMs) direkt auf Ihr Mobiltelefon bringt, sowohl für iOS- als auch für Android-Nutzer. Sie bietet ein webunabhängiges KI-Chat-Erlebnis, das den Schutz der Privatsphäre des Nutzers gewährleistet und eine automatische Speicherverwaltung sowie eine große Auswahl an Modellen unterstützt. Die von Asghar Ghorbani entwickelte App ist in die Hugging Face-Modellbibliothek integriert und ermöglicht es den Nutzern, eine breite Palette von Modellen direkt über die App herunterzuladen und zu verwenden, um verschiedene Chat- und Problemlösungsanforderungen zu erfüllen.

Funktionsliste

• Offline-KI-ChatAI kann für Dialoge ohne Internetverbindung verwendet werden.
• Vielfalt der ModelleUnterstützt eine Vielzahl von kleinen Sprachmodellen, wie z.B. Danube, Phi, Gemma 2, usw., die der Benutzer je nach Bedarf auswählen und wechseln kann.
• Automatische SpeicherverwaltungDie App entlädt das Modell automatisch im Hintergrund und schont so die Ressourcen des Geräts.
• Integration des Modells "Umarmendes GesichtSuche, Download und Verwendung von Modellen direkt aus der Hugging Face-Modellbibliothek.
• BenutzerBietet eine einfache und intuitive Schnittstelle für die Benutzerverwaltung von Modellen und Dialogen.
• DatenschutzAlle Dialoge werden lokal verarbeitet, so dass die Daten nicht an externe Server übertragen werden.

Hilfe verwenden

Ablauf der Installation

PocketPal AI ist sehr einfach zu installieren:

iOS-Benutzer.

1. Öffnen Sie den App Store.
2. Geben Sie "PocketPal AI" in die Suchleiste ein.
3. Klicken Sie hier, um die App herunterzuladen und zu installieren.

Android-Benutzer.

1. Öffnen Sie den Google Play Store.
2. Suchen Sie nach "PocketPal AI".
3. Klicken Sie auf Installieren.

Richtlinien für die Verwendung

Starten Sie die Anwendung.

• Wenn Sie die PocketPal AI App öffnen, sehen Sie eine einfache Startseite, in der Regel mit einer Menütaste (die als drei Linien oder vier Punkte dargestellt werden kann).

Modelle auswählen und herunterladen.

• Klicken Sie auf das Menü, um die Seite "Modelle" aufzurufen. Hier sind alle vorinstallierten Modelle und die zum Download bei Hugging Face verfügbaren Modelle aufgelistet.
• Wählen Sie das gewünschte Modell aus und klicken Sie auf die Schaltfläche "Herunterladen", um den Download zu starten. Nach dem Herunterladen klicken Sie auf die Schaltfläche "Laden", um das Modell in den Speicher zu laden.

Aufnahme eines Dialogs.

• Wählen Sie "Chat" aus dem Menü, um den Chat-Bildschirm zu öffnen.
• Geben Sie Ihre Frage oder Ihren Dialog in das Texteingabefeld ein und klicken Sie auf Senden. Das Modell wird eine Antwort auf der Grundlage des aktuell geladenen Modells geben.

Modell Erweiterte Einstellungen.

• Klicken Sie auf der Seite "Modelle" auf das Pfeilsymbol (v) neben dem Modell, und Sie erhalten eine Reihe von erweiterten Einstellungen, wie z. B. die Anpassung der Temperatur, des BOS-Tokens usw., die die Modellleistung optimieren.

Speicher verwalten:

• PocketPal AI verwaltet automatisch die Speichernutzung von Modellen. Wenn Sie die Funktion "Auto Offload/Load" aktivieren, entlädt die App Modelle auf intelligente Weise im Hintergrund, um Ressourcen zu sparen.

Reproduktion des Dialogs.

• Durch langes Drücken auf einen beliebigen Teil des Dialogs wird ein bestimmter Absatz kopiert, während durch Klicken auf das Kopiersymbol am unteren Rand der Dialogblase die gesamte Antwort kopiert wird.

Häufig gestellte Fragen und Lösungen.

• Langsames Laden von Modellen oder Abstürze der AppPrüfen Sie zunächst, ob die Metal-API aktiviert ist (nur iOS), und versuchen Sie, sie zu deaktivieren, wenn dies ein Problem darstellt. Wenn das Problem weiterhin besteht, melden Sie das Problem auf GitHub.
• Ich kann das gewünschte Modell nicht findenSie können nach weiteren Modellen suchen, indem Sie die in Hugging Face integrierte Suchfunktion verwenden. Wenn Sie immer noch keines finden, können Sie versuchen, das Modell manuell im GGUF-Format herunterzuladen und es mit der Option "Lokales Modell hinzufügen" zu importieren.

Die Nutzung von PocketPal AI ist hochgradig personalisiert. Sie können verschiedene Modelle nach Ihren Bedürfnissen anpassen und nutzen und sofortige und private AI-Konversationsdienste genießen. Bei der Verwendung des Geräts können kleinere Probleme auftreten, die jedoch durch den Community-Support und die kontinuierlichen Updates der Entwickler effektiv gelöst werden können. Egal, ob Sie einen privaten Dialogassistenten benötigen oder KI ohne Internet nutzen möchten, PocketPal AI ist ein Open-Source-Tool, das einen Versuch wert ist.