Ai2 OLMoE: eine quelloffene iOS-KI-App, die auf OLMoE-Modellen basiert und offline läuft

Allgemeine Einführung

Ai2 OLMoE ist eine quelloffene iOS-App, die vom Allen Institute for AI (Ai2, Allen Institute for Artificial Intelligence) entwickelt wurde, um KI-Modelle bereitzustellen, die vollständig auf dem Gerät laufen. Die App nutzt das quelloffene OLMoE-Modell von Ai2, das ohne Cloud-Verbindung offline ausgeführt werden kann und so den Datenschutz und die Datensicherheit gewährleistet.Ai2 OLMoE eignet sich nicht nur für Forscher, die erforschen, wie lokale KI-Modelle verbessert werden können, sondern bietet auch Entwicklern Werkzeuge zur schnellen Entwicklung neuer KI-Erfahrungen.

Online-Erfahrung: https://playground.allenai.org/?model=olmoe-0125

Funktionsliste

• Vollständig quelloffenDas Modell und der Anwendungscode von Ai2 OLMoE sind vollständig quelloffen, was Experimente und Verbesserungen durch Forscher und Entwickler erleichtert.
• effizienter BetriebHochleistungsfähige KI-Berechnungen auf dem Gerät mit effizienter Expertenmischung (Mixture-of-Experts).
• DatenschutzAlle Vorgänge werden auf dem Gerät durchgeführt, wodurch sichergestellt wird, dass die Benutzerdaten das Gerät nicht verlassen.
• multifunktionale IntegrationUnterstützung für die Integration von OLMoE-Modellen in andere iOS-Apps, um deren Funktionalität zu erweitern.
• Unterstützung der Gemeinschaft: Treten Sie dem Discord-Server von Ai2 bei, um mit anderen Forschern und Entwicklern zu kommunizieren und Projekte und Erfahrungen auszutauschen.

Hilfe verwenden

Ablauf der Installation

1. Öffnen Sie den App Store und suchen Sie nach "Ai2 OLMoE".
2. Klicken Sie auf die Schaltfläche "Holen", um die App herunterzuladen und zu installieren.
3. Sobald die Installation abgeschlossen ist, öffnen Sie die App und folgen Sie den Anweisungen für die Ersteinrichtung.

Richtlinien für die Verwendung

Erleben Sie das AI-Modell

1. Öffnen Sie die Anwendung Ai2 OLMoE.
2. Wählen Sie die Option "Modell erleben", um mit dem Modell zu interagieren.
3. Geben Sie eine Aufgabe ein oder wählen Sie eine aus und beobachten Sie, wie sich das Modell verhält.

Erforschung und Verbesserung von KI-Modellen

1. Laden Sie die Ai2 OLMoE-App herunter und installieren Sie sie.
2. Öffnen Sie die App und wählen Sie "Forschungsmodus".
3. Modelltraining und -verfeinerung unter Verwendung der in der Anwendung bereitgestellten Tools und Datensätze.
4. Laden Sie das verbesserte Modell in die Anwendung hoch und testen Sie seine Leistung.

Integration in andere iOS-Anwendungen

1. Zugang zum Open-Source-Repository von Ai2 OLMoE auf GitHub (Link in der App enthalten).
2. Laden Sie die Codebasis herunter und konfigurieren Sie sie entsprechend den Anweisungen der Dokumentation.
3. Erweitern Sie die Funktionalität des OLMoE-Modells, indem Sie es in Ihre iOS-App integrieren.

Detaillierte Vorgehensweise

1. Herunterladen und InstallierenSuchen Sie nach der Ai2 OLMoE-App im App Store, laden Sie sie herunter und folgen Sie den Anweisungen, um die Installation abzuschließen.
2. ErsteinrichtungÖffnen Sie die App für die Ersteinrichtung, einschließlich der Auswahl einer Sprache und der Datenschutzeinstellungen.
3. erfahrungsbasiertes ModellWählen Sie den "Erfahrungsmodus", geben Sie eine Aufgabe ein oder wählen Sie eine aus und beobachten Sie, wie sich das Modell verhält.
4. ForschungsmodellWählen Sie den "Forschungsmodus" und verwenden Sie die zur Verfügung gestellten Tools und Datensätze für das Training und die Verfeinerung der Modelle.
5. Integrierter ModusBesuchen Sie das GitHub-Code-Repository, um Code herunterzuladen und zu konfigurieren, um das Modell in andere iOS-Apps zu integrieren.

Mehr über Ai2 OLMoE

Das OLMoE-Modell des Allen-Instituts für Künstliche Intelligenz (AI2) ist jetzt offiziell als modernes, quelloffenes, geräteseitiges Modell veröffentlicht.

Das Allen Institute for Artificial Intelligence (AI) hat seit langem die Vision, überlegene, vollständig quelloffene Sprachmodelle zu entwickeln. Jetzt hat es einen bedeutenden Schritt in Richtung dieses Ziels gemacht - das Allen Institute for Artificial Intelligence hat die Grenzen dessen, was als vollständig quelloffen gilt, mit der Veröffentlichung einer vollständig quelloffenen iOS-App neu definiert. Die App ist so konzipiert, dass die Nutzer ihre Modelle sicher und privat auf ihren eigenen Geräten nutzen können, was die tiefgreifende Erweiterung der Open-Source-Philosophie des AIII demonstriert.

Diese vollständig quelloffene App wird Forschern helfen, Wege zur Verbesserung geräteseitiger Modelle zu erkunden, und Entwicklern die Möglichkeit geben, Prototypen für innovative KI-Erlebnisse zu erstellen. Der Open-Source-Charakter der App bietet nicht nur eine wertvolle Plattform für Forscher, sondern inspiriert auch die Entwickler-Community zu unbegrenzter Kreativität, um geräteseitige KI-Technologien und Anwendungen voranzutreiben.

Benutzer können die App jetzt aus dem Apple App Store herunterladen oder sie selbst erstellen, indem sie den Quellcode aus dem Code-Repository beziehen. Es ist wichtig zu beachten, dass die erste Version der OLMoE-App aufgrund von Hardware-Überlegungen nur auf einem iPhone 15 Pro oder neuer oder einem iPad mit einem Chip der M-Serie funktionieren wird.

Ausweitung der Tiefe und Breite offener Ökosysteme

Seit der Einführung der OLMo-Modellreihe hat sich das Allen Institute for Artificial Intelligence (AI) an den Grundsatz der vollständigen Offenheit gehalten. Es hat nicht nur die endgültigen Modellgewichte offengelegt, sondern auch die Software, die Daten und die damit zusammenhängenden technischen Details, die in den Modellbildungsprozess involviert sind. Das Allen AI Institute ist der Ansicht, dass sich echte Offenheit nicht nur auf das Modell selbst beschränkt, sondern auch auf die Ebene der Benutzererfahrung ausgedehnt werden sollte, um ein offenes KI-Ökosystem aufzubauen, das wirklich zugänglich ist. KI-Technologien wie vLLM und SGLang sind hervorragende Open-Source-Projekte, die Entwicklern, die große Sprachmodelle (Large Language Models, LLMs) auf разнообразных Cloud-Servern einsetzen, einen starken Auftrieb gegeben haben, während die Ollama und das Aufkommen von Tools wie LM Studio ermöglichen es den Nutzern, offene Gewichtungsmodelle direkt auf ihren PCs zu erleben.

In den letzten Jahren haben sich die Fähigkeiten der kleinen Modelle sprunghaft verbessert. Insbesondere das parametrische Modell 7B hat bis Ende 2024 die Leistung des modernsten Modells des Vorjahres leicht übertroffen. Gleichzeitig hat auch die Leistung der mobilen Recheneinheiten zugenommen, was darauf hindeutet, dass Die geräteseitige KI ist bereit für eine breitere Akzeptanz.

Um diesem Trend besser gerecht zu werden, hat das Allen Institute for Artificial Intelligence OLMoE ins Leben gerufen, eine Vollständig quelloffenes ToolkitZiel ist es, Forschern und Entwicklern folgende Informationen zur Verfügung zu stellen Geräteseitige AI-ExperimentierplattformOLMoE bietet eine breite Palette von Anwendungsszenarien, darunter:

• Erkundung einer realen WeltmissionPraktische Erfahrungen mit den neuesten geräteseitigen Modellen in realen Anwendungsszenarien und entdecken, was sie für reale Aufgaben leisten können.
• Eine Studie zur Verbesserung effizienter lokaler KI-ModelleWie kann man die Effizienz lokaler KI-Modelle weiter verbessern und Ideen für die geräteseitige KI-Optimierung liefern?
• Lokale ModellprüfungOLMoE: Bequemes Testen und Validieren von Benutzermodellen in lokalen Umgebungen unter Verwendung der von OLMoE bereitgestellten Open-Source-Code-Basis.
• Integration von iOS-AnwendungenOLMoE lässt sich nahtlos in andere iOS-Apps integrieren, um die Grenzen der KI-Technologie zu erweitern.

Die wichtigsten Vorteile eines geräteseitigen Modells wie OLMoE gegenüber einem Cloud-basierten Modell sind Vollständige PrivatsphäreDie Eingabeaufforderungen und Modellantworten des Benutzers werden immer lokal auf dem Gerät verarbeitet. Benutzeraufforderungen und Modellantworten werden immer lokal auf dem Gerät verarbeitet und müssen nicht auf einen Cloud-Server hochgeladen werden, wodurch die Sicherheit der Benutzerdaten maximiert wird. Darüber hinaus, weil Keine Internetverbindung erforderlichOLMoE ist in der Lage, an jedem Ort und in jeder Netzwerkumgebung stabil und zuverlässig zu arbeiten und den Benutzern jederzeit und überall KI-Dienste zur Verfügung zu stellen.

Der Sprung von Modellen zu Anwendungen

Um die Ai2 OLMoE-Anwendung erfolgreich zu entwickeln, hat das Allen Institute for Artificial Intelligence seine hochmodernen, vollständig quelloffenen Technologielösungen geschickt kombiniert. Der Eckpfeiler der Anwendung ist das OLMoE-Modell, das effizienteste und vollständig quelloffene Sprachmodell, das das Allen Institute for Artificial Intelligence jemals entwickelt hat. Aufbauend auf dieser Grundlage hat das Allen Institute for Artificial Intelligence eine neue Version des Modells, Allenai/OLMoE-1B-7B-0125-Instruct, veröffentlicht, die die in OLMo 2 eingeführte hybride Dolmino-Trainingsstrategie (die in der Mitte des Modelltrainings angewandt wird) und das Tülu-3-Modelltraining geschickt integriert. und ein Optimierungsschema nach dem Training für Tülu-3-Modelle. Mit diesen Neuerungen erreicht die neue Version von OLMoE eine durchschnittliche Leistungssteigerung von 35% in der Evaluierungssuite des Allen Institute for Artificial Intelligence, während sie gleichzeitig ein ähnliches Effizienzniveau wie die Originalversion beibehält.

*AlpacaEval bezieht sich auf Alpaca Eval 2 Length Controlled.

Um sicherzustellen, dass OLMoE auf der Geräteseite effizient läuft, hat das Allen Institute of Artificial Intelligence die Q4_K_M-Quantisierung verwendet, um die Größe des Modells zu reduzieren. Diese Quantisierung hatte nur minimale Auswirkungen auf die Leistung des Modells, z. B. ist der IFEval-Score nur geringfügig von 66,4 auf 63,6 gesunken. Wenn Sie die Leistung der neuen Version des OLMoE-Modells vor der Quantisierung erleben möchten, können Sie die Ai2 Spielplatz Online-Tests. Darüber hinaus wurde das quantitative Modell im GGUF-Format auf HuggingFace veröffentlicht, und die Nutzer können je nach Bedarf die Basisversion oder die instruierte Version herunterladen.

Das Allen Institute for Artificial Intelligence hat bei der Entwicklung der Ai2 OLMoE-App eng mit GenUI zusammengearbeitet. Die Anwendung basiert auf mehreren herausragenden Open-Source-Projekten, wie z. B. den Swift-Bindings zu Llama.cpp. Das Allen Institute of Artificial Intelligence hat den gesamten Technologie-Stack tiefgreifend optimiert, was zu einer durchschnittlichen Verarbeitungsgeschwindigkeit von 41 Tokens/s auf einem iPhone 16 Pro-Gerät führt, was eine sehr beeindruckende Leistung darstellt.

Es ist erwähnenswert, dass der Code für die Ai2 OLMoE-Anwendung Vollständig quelloffen (https://github.com/allenai/OLMoE.swift), die wertvolle Referenzen und Lektionen für ein breites Spektrum von KI-Forschern und -Entwicklern bietet. Entwickler können die Codebasis der Ai2 OLMoE-Anwendung als Gerüst für die Evaluierung effizienterer geräteseitiger KI-Modelle nutzen oder die Modellimplementierungen von Ai2 OLMoE nahtlos in andere Anwendungen integrieren, um diese mit leistungsstarken KI-Funktionen auszustatten.

Das Allen Institute for Artificial Intelligence ist der Ansicht, dass die Veröffentlichung der Ai2 OLMoE-App ein entscheidender Schritt in Richtung der Zukunft der gerätebasierten Intelligenz ist. Da die Verarbeitungs- und Leistungsfähigkeit mobiler Geräte weiter zunimmt, erwartet Ai2, dass die OLMoE-App Forschern und Entwicklern helfen wird, auf dem neuesten Stand der Technik zu bleiben und die unendlichen Möglichkeiten der geräteseitigen KI-Technologie zu erkunden.

Erleben Sie die OLMoE-App noch heute auf Ihrem iPhone!