Ai2 OLMoE: una aplicación de IA para iOS de código abierto basada en modelos OLMoE que funcionan sin conexión.

Introducción general

Ai2 OLMoE es una aplicación iOS de código abierto desarrollada por el Allen Institute for AI (Ai2, Instituto Allen de Inteligencia Artificial) para proporcionar modelos de IA que se ejecutan completamente en el dispositivo. La aplicación aprovecha el modelo OLMoE de código abierto de Ai2, capaz de ejecutarse sin conexión a la nube, lo que garantiza la privacidad del usuario y la seguridad de los datos.Ai2 OLMoE no solo es adecuada para investigadores que exploran cómo mejorar los modelos locales de IA, sino que también proporciona a los desarrolladores las herramientas para crear prototipos y diseñar rápidamente nuevas experiencias de IA.

Experiencia en línea: https://playground.allenai.org/?model=olmoe-0125

Lista de funciones

• Código totalmente abiertoEl modelo y el código de aplicación de Ai2 OLMoE son de código abierto, lo que facilita la experimentación y la mejora por parte de investigadores y desarrolladores.
• funcionamiento eficazCálculo de IA de alto rendimiento en el dispositivo mediante una mezcla de expertos eficiente.
• Privacidad: Todas las operaciones se realizan en el dispositivo, lo que garantiza que los datos del usuario no salgan de él.
• integración multifuncionalSoporte para integrar modelos OLMoE en otras aplicaciones iOS para extender su funcionalidad.
• Apoyo comunitarioÚnase al servidor Discord de Ai2 para comunicarse con otros investigadores y desarrolladores y compartir proyectos y experiencias.

Utilizar la ayuda

Proceso de instalación

1. Abre la App Store y busca "Ai2 OLMoE".
2. Haz clic en el botón "Obtener" para descargar e instalar la aplicación.
3. Una vez finalizada la instalación, abre la aplicación y sigue las instrucciones para la configuración inicial.

Normas de uso

Experimente el modelo de IA

1. Abre la aplicación Ai2 OLMoE.
2. Seleccione la opción "Modelo de experiencia" para empezar a interactuar con el modelo.
3. Introduzca o seleccione una tarea y observe cómo se comporta el modelo.

Investigación y mejora de los modelos de IA

1. Descarga e instala la aplicación Ai2 OLMoE.
2. Abre la aplicación y selecciona "Modo investigación".
3. Entrenamiento y perfeccionamiento del modelo utilizando las herramientas y los conjuntos de datos proporcionados por la aplicación.
4. Carga el modelo mejorado en la aplicación y comprueba su rendimiento.

Integración en otras aplicaciones iOS

1. Acceso al repositorio de código abierto GitHub de Ai2 OLMoE (enlace incluido en la aplicación).
2. Descargue el código base y configúrelo siguiendo las instrucciones de la documentación.
3. Amplíe la funcionalidad del modelo OLMoE integrándolo en su aplicación iOS.

Procedimiento de funcionamiento detallado

1. Descarga e instalaciónBusque y descargue la aplicación Ai2 OLMoE de la App Store y siga las instrucciones para completar la instalación.
2. configuración inicialAbre la aplicación para la configuración inicial, que incluye la elección del idioma y los ajustes de privacidad.
3. modelo experiencialModo "Experiencia": Seleccione "Modo Experiencia", introduzca o seleccione una tarea y observe cómo se comporta el modelo.
4. modelo de investigaciónModo de investigación: seleccione "Modo de investigación" y utilice las herramientas y los conjuntos de datos proporcionados para el entrenamiento y el perfeccionamiento del modelo.
5. Modo integradoVisita el repositorio de código GitHub para descargar y configurar el código para integrar el modelo en otras aplicaciones iOS.

Más información sobre Ai2 OLMoE

El modelo OLMoE del Instituto Allen de Inteligencia Artificial (AI2) ya está disponible oficialmente como modelo de vanguardia de código abierto para dispositivos.

El Instituto Allen de Inteligencia Artificial (IA) tiene desde hace tiempo la visión de crear modelos lingüísticos superiores de código totalmente abierto. Ahora han dado un paso importante hacia ese objetivo: el Instituto Allen de Inteligencia Artificial ha redefinido los límites de lo que se considera código abierto con el lanzamiento de una aplicación iOS de código abierto. La aplicación está diseñada para permitir a los usuarios experimentar sus modelos de forma segura y privada en sus propios dispositivos, lo que demuestra la profunda expansión de la filosofía de código abierto del AIII.

Esta aplicación de código abierto ayudará a los investigadores a explorar formas de mejorar los modelos de los dispositivos y permitirá a los desarrolladores crear prototipos de experiencias de IA innovadoras. Su naturaleza de código abierto no solo proporciona una valiosa plataforma para los investigadores, sino que también inspira una creatividad ilimitada en la comunidad de desarrolladores para impulsar los avances y las aplicaciones de la tecnología de IA del lado del dispositivo.

Los usuarios pueden descargar la aplicación desde la App Store de Apple o crearla ellos mismos obteniendo el código fuente en el repositorio de código. Es importante tener en cuenta que, debido a consideraciones de hardware, la primera versión de la aplicación OLMoE solo funcionará en un iPhone 15 Pro o posterior, o en cualquier iPad con un chip de la serie M.

Ampliar la profundidad y amplitud de los ecosistemas abiertos

Desde el inicio de la serie de modelos OLMo, el Instituto Allen de Inteligencia Artificial (IA) se ha adherido al principio de apertura total. No sólo ha revelado los pesos finales del modelo, sino que también ha abierto el software, los datos y los detalles técnicos relacionados con el proceso de construcción del modelo. El Allen AI Institute cree que la verdadera apertura no sólo se limita al modelo en sí, sino que también debe extenderse al nivel de la experiencia del usuario, para construir un ecosistema de IA abierto que sea realmente accesible. Tecnologías de IA como vLLM y SGLang son excelentes proyectos de código abierto que han dado un fuerte impulso a los desarrolladores que despliegan grandes modelos lingüísticos (LLM) en servidores разнообразных en la nube; y Ollama y la aparición de herramientas como LM Studio, por otro lado, permiten a los usuarios experimentar modelos de ponderación abiertos directamente en sus ordenadores personales.

En los últimos años, las capacidades de los modelos pequeños han mejorado a pasos agigantados. En concreto, a finales de 2024, el modelo paramétrico 7B ha superado con creces el rendimiento del modelo de última generación del año anterior. Al mismo tiempo, el rendimiento de las unidades de procesamiento móviles también ha ido en aumento, lo que indica que La IA de los dispositivos está a punto de generalizarse.

Para adaptarse mejor a esta tendencia, el Instituto Allen de Inteligencia Artificial ha puesto en marcha OLMoE, un Conjunto de herramientas de código abiertoEl objetivo es proporcionar a los investigadores y desarrolladores Plataforma de experimentación de IA en dispositivosOLMoE tiene una amplia gama de escenarios de aplicación, incluyendo:

• Exploración de misiones en el mundo realExperiencia práctica con los modelos de dispositivos más avanzados en escenarios de aplicación reales y descubrimiento de lo que pueden hacer para las tareas del mundo real.
• Un estudio sobre la mejora de los modelos locales eficientes de IAEl objetivo es: profundizar en la mejora de la eficiencia de los modelos locales de IA y aportar ideas para la optimización de la IA en el dispositivo.
• Pruebas de modelos locales: Pruebas y validación cómodas de modelos de собственные de usuario en entornos locales utilizando la base de código abierto proporcionada por OLMoE.
• Integración de aplicaciones iOSIntegración perfecta de OLMoE en otras aplicaciones iOS para ampliar los límites de la tecnología de IA.

Las ventajas más significativas de un modelo del lado del dispositivo como OLMoE sobre un modelo basado en la nube son Privacidad totalLas preguntas del usuario y las respuestas del modelo siempre se procesan localmente en el dispositivo. Las preguntas del usuario y las respuestas del modelo siempre se procesan localmente en el dispositivo y no es necesario cargarlas en un servidor en la nube, lo que maximiza la seguridad de los datos del usuario. Además, dado que No necesita conexión a InternetOLMoE es capaz de funcionar de forma estable y fiable en cualquier ubicación y entorno de red, proporcionando a los usuarios servicios de IA en cualquier momento y lugar.

El salto de los modelos a las aplicaciones

Para construir con éxito la aplicación Ai2 OLMoE, el Instituto Allen de Inteligencia Artificial ha combinado inteligentemente sus soluciones tecnológicas de última generación y totalmente de código abierto. La piedra angular de la aplicación es el modelo OLMoE, que es el modelo de lenguaje más eficiente y totalmente de código abierto jamás desarrollado por el Instituto Allen para la Inteligencia Artificial. Partiendo de esta base, el Instituto Allen de Inteligencia Artificial ha lanzado una nueva versión del modelo, allenai/OLMoE-1B-7B-0125-Instruct, que incorpora de forma inteligente la estrategia de entrenamiento híbrida Dolmino introducida en OLMo 2 (aplicada en mitad del entrenamiento del modelo) y el y un esquema de optimización post-entrenamiento para los modelos Tülu 3. Con estas innovaciones, la nueva versión de OLMoE consigue un aumento medio del rendimiento de 35% en la suite de evaluación del Instituto Allen de Inteligencia Artificial, al tiempo que mantiene un nivel de eficiencia similar al de la versión original.

*AlpacaEval se refiere a Alpaca Eval 2 Longitud Controlada.

Para garantizar que OLMoE se ejecuta de forma eficiente en el dispositivo, el Instituto Allen de Inteligencia Artificial ha utilizado la cuantificación Q4_K_M para reducir el tamaño del modelo. Esta cuantificación ha tenido un impacto mínimo en el rendimiento del modelo, por ejemplo, la puntuación IFEval solo ha bajado ligeramente de 66,4 a 63,6. Si está interesado en experimentar el rendimiento de la nueva versión del modelo OLMoE antes de cuantificarlo, puede ir a la página web de Ai2. Parque infantil Pruebas en línea. Además, el modelo cuantitativo en formato GGUF se ha publicado en HuggingFace, y los usuarios pueden elegir la versión base o la versión con instrucciones para descargarla según sus necesidades.

El Instituto Allen de Inteligencia Artificial ha colaborado estrechamente con GenUI en el desarrollo de la aplicación Ai2 OLMoE. La aplicación está construida sobre varios proyectos destacados de código abierto, como los enlaces Swift a Llama.cpp. El Instituto Allen de Inteligencia Artificial ha optimizado profundamente toda la pila tecnológica, lo que ha dado como resultado una velocidad media de procesamiento de 41 Tokens/s en un dispositivo iPhone 16 Pro, lo que supone un rendimiento impresionante.

Cabe señalar que el código de la aplicación Ai2 OLMoE ha sido Código totalmente abierto (https://github.com/allenai/OLMoE.swift), que proporciona valiosas referencias y lecciones para una amplia gama de investigadores y desarrolladores de IA. Los desarrolladores pueden utilizar la base de código de la aplicación Ai2 OLMoE como andamiaje para evaluar modelos de IA más eficientes desde el punto de vista del dispositivo, o integrar a la perfección las implementaciones de modelos de Ai2 OLMoE en otras aplicaciones para dotarlas de potentes capacidades de IA.

El Instituto Allen de Inteligencia Artificial cree que el lanzamiento de la aplicación Ai2 OLMoE es un paso fundamental hacia el futuro de la inteligencia basada en dispositivos. A medida que la potencia de procesamiento y el rendimiento de los dispositivos móviles siguen aumentando, Ai2 espera que la app OLMoE ayude a investigadores y desarrolladores a mantenerse a la vanguardia de la tecnología y explorar las infinitas posibilidades de la tecnología de IA basada en dispositivos.

Pruebe hoy mismo la aplicación OLMoE en su iPhone.