Ai2 OLMoE : une application d'IA iOS open source basée sur des modèles OLMoE fonctionnant hors ligne

Introduction générale

Ai2 OLMoE est une application iOS open source développée par l'Allen Institute for AI (Ai2, Allen Institute for Artificial Intelligence) pour fournir des modèles d'IA qui fonctionnent entièrement sur l'appareil. L'application s'appuie sur le modèle open-source OLMoE d'Ai2, capable de fonctionner hors ligne sans connexion au cloud, ce qui garantit la confidentialité de l'utilisateur et la sécurité des données. Ai2 OLMoE convient non seulement aux chercheurs qui étudient comment améliorer les modèles d'IA locaux, mais fournit également aux développeurs des outils pour prototyper rapidement de nouvelles expériences d'IA.

Expérience en ligne : https://playground.allenai.org/?model=olmoe-0125

Liste des fonctions

• Entièrement open sourceLe modèle et le code d'application d'Ai2 OLMoE sont entièrement libres, ce qui facilite l'expérimentation et l'amélioration par les chercheurs et les développeurs.
• fonctionnement efficaceLa technologie de l'intelligence artificielle : calcul d'intelligence artificielle haute performance sur l'appareil à l'aide d'un mélange d'experts efficace.
• Vie privéeLes opérations sont effectuées sur l'appareil, ce qui garantit que les données de l'utilisateur ne quittent pas l'appareil.
• intégration multifonctionnelleSupport pour l'intégration des modèles OLMoE dans d'autres applications iOS afin d'étendre leurs fonctionnalités.
• Soutien communautaireLe Discord : Rejoignez le serveur Discord d'Ai2 pour communiquer avec d'autres chercheurs et développeurs et partager des projets et des expériences.

Utiliser l'aide

Processus d'installation

1. Ouvrez l'App Store et recherchez "Ai2 OLMoE".
2. Cliquez sur le bouton "Get" pour télécharger et installer l'application.
3. Une fois l'installation terminée, ouvrez l'application et suivez les instructions pour la configuration initiale.

Lignes directrices pour l'utilisation

Expérimenter le modèle d'IA

1. Ouvrez l'application Ai2 OLMoE.
2. Sélectionnez l'option "Experience Model" pour commencer à interagir avec le modèle.
3. Saisissez ou sélectionnez une tâche et observez le comportement du modèle.

Recherche et amélioration des modèles d'IA

1. Téléchargez et installez l'application Ai2 OLMoE.
2. Ouvrez l'application et sélectionnez "Mode recherche".
3. Formation et perfectionnement du modèle à l'aide des outils et des ensembles de données fournis dans l'application.
4. Téléchargez le modèle amélioré dans l'application et testez sa performance.

Intégration dans d'autres applications iOS

1. Accès au dépôt open source GitHub d'Ai2 OLMoE (lien fourni dans l'application).
2. Téléchargez la base de code et configurez-la selon les instructions de la documentation.
3. Étendez les fonctionnalités du modèle OLMoE en l'intégrant à votre application iOS.

Procédure d'utilisation détaillée

1. Téléchargement et installationPour ce faire, recherchez et téléchargez l'application Ai2 OLMoE sur l'App Store et suivez les instructions pour terminer l'installation.
2. configuration initialeOuverture de l'application : Ouvrez l'application pour la configuration initiale, y compris le choix d'une langue et les paramètres de confidentialité.
3. modèle expérientielMode expérience : Sélectionnez le mode expérience, entrez ou sélectionnez une tâche et observez le comportement du modèle.
4. modèle de rechercheMode recherche : Sélectionnez le mode recherche et utilisez les outils et les ensembles de données fournis pour l'apprentissage et l'affinement des modèles.
5. Mode intégréLe modèle peut être intégré à d'autres applications iOS en visitant le dépôt de code GitHub pour télécharger et configurer le code.

En savoir plus sur Ai2 OLMoE

Le modèle OLMoE de l'Allen Institute for Artificial Intelligence (AI2) est désormais officiellement publié en tant que modèle de pointe, à code source ouvert, côté appareil.

L'Allen Institute for Artificial Intelligence (AI) a depuis longtemps la vision de construire des modèles de langage supérieurs et entièrement open source. Il vient de franchir une étape importante dans la réalisation de cet objectif : l'Allen Institute for Artificial Intelligence a redéfini les limites de ce qui est considéré comme entièrement open source en lançant une application iOS entièrement open source. L'application est conçue pour permettre aux utilisateurs d'expérimenter leurs modèles en toute sécurité et en toute confidentialité sur leurs propres appareils, démontrant ainsi la profonde expansion de la philosophie open source de l'AIII.

Cette application entièrement libre aidera les chercheurs à explorer les moyens d'améliorer les modèles côté appareil et permettra aux développeurs de créer des prototypes pour des expériences innovantes en matière d'IA. Sa nature open-source fournit non seulement une plateforme précieuse pour les chercheurs, mais inspire également une créativité illimitée dans la communauté des développeurs pour faire avancer la technologie de l'IA côté appareil et ses applications.

Les utilisateurs peuvent télécharger l'application dès maintenant sur l'App Store d'Apple ou choisir de la créer eux-mêmes en obtenant le code source à partir du dépôt de code. Il est important de noter qu'en raison de considérations matérielles, la première version de l'application OLMoE ne fonctionnera que sur un iPhone 15 Pro ou plus récent, ou sur un iPad doté d'une puce de série M.

Élargir la profondeur et l'étendue des écosystèmes ouverts

Depuis la création de la série de modèles OLMo, l'Allen Institute for Artificial Intelligence (AI) a adhéré au principe d'ouverture totale. Il a non seulement divulgué les poids finaux des modèles, mais aussi mis en libre accès le logiciel, les données et les détails techniques connexes impliqués dans le processus de construction du modèle. Allen AI Institute estime qu'une véritable ouverture ne se limite pas au modèle lui-même, mais s'étend également à l'expérience de l'utilisateur afin de construire un écosystème d'IA véritablement ouvert et à portée de main. Les technologies d'IA telles que vLLM et SGLang sont d'excellents projets open-source qui ont donné une forte impulsion aux développeurs déployant de grands modèles de langage (LLM) sur des serveurs разнобразных ; et Ollama et l'émergence d'outils tels que LM Studio, d'autre part, permettent aux utilisateurs d'expérimenter des modèles de pondération ouverts directement sur leur ordinateur personnel.

Ces dernières années, les capacités des petits modèles se sont améliorées à pas de géant. En particulier, à la fin de l'année 2024, le modèle paramétrique 7B aura largement dépassé les performances du modèle de pointe de l'année précédente. Dans le même temps, les performances des unités de traitement mobiles se sont également accrues, ce qui laisse présager que L'IA côté appareil est prête à être adoptée à plus grande échelle.

Pour mieux répondre à cette tendance, l'Allen Institute for Artificial Intelligence a lancé OLMoE, un projet de recherche sur l'intelligence artificielle. Boîte à outils entièrement ouverteL'objectif est de fournir aux chercheurs et aux développeurs Plate-forme d'expérimentation de l'IA côté appareilLes scénarios d'application de l'OLMoE sont très variés :

• Exploration de missions dans le monde réelLes modèles de pointe côté appareil : une expérience pratique dans des scénarios d'application réels et la découverte de ce qu'ils peuvent faire pour des tâches concrètes.
• Une étude sur l'amélioration des modèles d'IA locaux efficacesLes modèles d'intelligence artificielle locaux : Découvrez comment améliorer l'efficacité des modèles d'intelligence artificielle locaux et proposez des idées pour l'optimisation de l'intelligence artificielle au niveau de l'appareil.
• Test du modèle localLes modèles de l'utilisateur собственные sont testés et validés de manière pratique dans des environnements locaux à l'aide de la base de code open source fournie par OLMoE.
• Intégration d'applications iOSOLMoE : Intégrez en toute transparence OLMoE à d'autres applications iOS pour repousser les limites de la technologie de l'IA.

Les principaux avantages des modèles basés sur l'appareil, tels que l'OLMoE, par rapport aux modèles basés sur l'informatique dématérialisée sont les suivants Confidentialité totaleLes invites de l'utilisateur et les réponses du modèle sont toujours traitées localement sur l'appareil. Les invites de l'utilisateur et les réponses du modèle sont toujours traitées localement sur l'appareil et n'ont pas besoin d'être téléchargées sur un serveur en nuage, ce qui maximise la sécurité des données de l'utilisateur. En outre, comme les Aucune connexion Internet n'est nécessaireOLMoE est capable de fonctionner de manière stable et fiable dans n'importe quel lieu et n'importe quel environnement réseau, fournissant aux utilisateurs des services d'intelligence artificielle à tout moment et en tout lieu.

Le saut des modèles aux applications

Pour développer avec succès l'application Ai2 OLMoE, l'Allen Institute for Artificial Intelligence a intelligemment combiné ses solutions technologiques de pointe et entièrement libres. La pierre angulaire de l'application est le modèle OLMoE, qui est le modèle linguistique le plus efficace et le plus libre jamais développé par l'Allen Institute for Artificial Intelligence. Sur cette base, l'Allen Institute for Artificial Intelligence a publié une nouvelle version du modèle, allenai/OLMoE-1B-7B-0125-Instruct, qui intègre intelligemment la stratégie d'entraînement hybride Dolmino introduite dans OLMo 2 (appliquée au milieu de l'entraînement du modèle) et l'entraînement du modèle Tülu 3. et un schéma d'optimisation post-entraînement pour les modèles Tülu 3. Grâce à ces innovations, la nouvelle version d'OLMoE obtient une augmentation moyenne des performances de 35% sur la suite d'évaluation de l'Allen Institute for Artificial Intelligence, tout en conservant un niveau d'efficacité similaire à celui de la version originale.

*AlpacaEval fait référence à Alpaca Eval 2 Longueur contrôlée.

Pour s'assurer que OLMoE fonctionne efficacement du côté de l'appareil, l'Allen Institute of Artificial Intelligence a utilisé la quantification Q4_K_M pour réduire la taille du modèle. Cette quantification a eu un impact minime sur les performances du modèle, par exemple le score IFEval n'a que légèrement baissé de 66,4 à 63,6. Si vous souhaitez tester les performances de la nouvelle version du modèle OLMoE avant quantification, vous pouvez vous rendre sur le site Ai2 Terrain de jeux Tests en ligne. En outre, le modèle quantitatif au format GGUF a été publié sur HuggingFace, et les utilisateurs peuvent choisir la version de base ou la version d'instruction à télécharger en fonction de leurs besoins.

L'Allen Institute for Artificial Intelligence a travaillé en étroite collaboration avec GenUI pour développer l'application Ai2 OLMoE, qui repose sur plusieurs projets open source remarquables, tels que les liens Swift avec Llama.cpp. L'application est construite sur plusieurs projets open source remarquables, tels que les liaisons Swift à Llama.cpp. L'Allen Institute of Artificial Intelligence a optimisé en profondeur l'ensemble de la pile technologique, ce qui a permis d'obtenir une vitesse de traitement moyenne de 41 tokens/s sur un iPhone 16 Pro, ce qui constitue une performance exceptionnelle.

Il convient de noter que le code de l'application OLMoE de l'Ai2 a été Entièrement open source (https://github.com/allenai/OLMoE.swift), qui fournit des références et des leçons précieuses pour un large éventail de chercheurs et de développeurs dans le domaine de l'intelligence artificielle. Les développeurs peuvent utiliser la base de code de l'application Ai2 OLMoE comme échafaudage pour évaluer des modèles d'IA plus efficaces au niveau de l'appareil, ou intégrer de manière transparente les implémentations du modèle Ai2 OLMoE dans d'autres applications afin de les doter de puissantes capacités d'IA.

L'Allen Institute for Artificial Intelligence estime que la sortie de l'application Ai2 OLMoE est une étape cruciale pour l'avenir de l'intelligence basée sur les appareils. Alors que la puissance de traitement et les performances des appareils mobiles continuent d'augmenter, Ai2 espère que l'application OLMoE aidera les chercheurs et les développeurs à rester à la pointe de la technologie et à explorer les possibilités infinies de la technologie de l'intelligence artificielle basée sur les appareils.

Découvrez l'application OLMoE sur votre iPhone dès aujourd'hui !