Ai2 OLMoE：基于 OLMoE 模型离线运行的开源iOS AI应用

综合介绍

Ai2 OLMoE是由Allen Institute for AI（简称Ai2，艾伦人工智能研究所）开发的一款开源iOS应用，旨在提供完全在设备上运行的AI模型。该应用利用了Ai2的开源OLMoE模型，能够在没有云连接的情况下离线运行，确保用户的隐私和数据安全。Ai2 OLMoE不仅适用于研究人员探索如何改进本地AI模型，还为开发者提供了快速原型设计新AI体验的工具。

在线体验：https://playground.allenai.org/?model=olmoe-0125

功能列表

• 完全开源：Ai2 OLMoE 的模型和应用代码完全开源，便于研究人员和开发者进行实验和改进。
• 高效运行：采用高效的专家混合模型（Mixture-of-Experts），在设备上实现高性能AI计算。
• 隐私保护：所有操作均在设备上完成，确保用户数据不离开设备。
• 多功能集成：支持将 OLMoE 模型集成到其他iOS应用中，扩展其功能。
• 社区支持：加入Ai2的Discord服务器，与其他研究人员和开发者交流，分享项目和经验。

使用帮助

安装流程

1. 打开App Store，搜索“Ai2 OLMoE”。
2. 点击“获取”按钮，下载并安装应用。
3. 安装完成后，打开应用，按照提示进行初始设置。

使用指南

体验AI模型

1. 打开Ai2 OLMoE应用。
2. 选择“体验模型”选项，开始与模型进行交互。
3. 输入或选择任务，观察模型的表现。

研究和改进AI模型

1. 下载并安装Ai2 OLMoE应用。
2. 打开应用，选择“研究模式”。
3. 使用应用内提供的工具和数据集，进行模型训练和改进。
4. 将改进后的模型上传到应用中，测试其性能。

集成到其他iOS应用

1. 访问Ai2 OLMoE的GitHub开源代码库（链接在应用内提供）。
2. 下载代码库，并按照文档说明进行配置。
3. 将OLMoE模型集成到您的iOS应用中，扩展其功能。

详细操作流程

1. 下载和安装：在App Store中搜索并下载Ai2 OLMoE应用，按照提示完成安装。
2. 初始设置：打开应用，进行初始设置，包括选择语言和隐私设置。
3. 体验模式：选择“体验模式”，输入或选择任务，观察模型的表现。
4. 研究模式：选择“研究模式”，使用提供的工具和数据集进行模型训练和改进。
5. 集成模式：访问GitHub代码库，下载并配置代码，将模型集成到其他iOS应用中。

关于 Ai2 OLMoE 的详细介绍

艾伦人工智能研究所 (AI2) 的 OLMoE 模型，如今已作为前沿的开源设备端模型正式发布。

长期以来， 艾伦人工智能研究所 秉持着构建卓越且完全开源的语言模型的愿景。如今，他们朝着这个目标迈出了意义非凡的一步—— 艾伦人工智能研究所 重新定义了完全开源的边界，发布了一款完全开源的 iOS 应用。这款应用旨在让用户能够在自己的设备上安全且私密地体验其模型，充分彰显了 艾伦人工智能研究所 对开源理念的深刻拓展。

这款完全开源的应用，将助力研究人员探索设备端模型的改进方向，并赋能开发者为创新 AI 体验构建原型。其开源特性不仅为研究人员提供了宝贵的平台，更激发了开发者社群的无限创造力，共同推动设备端 AI 技术的进步与应用。

用户可以立即前往 Apple App Store 下载该应用，或选择从代码仓库获取源代码自行构建。值得注意的是，由于硬件配置的考量，首个版本的 OLMoE 应用需搭载 iPhone 15 Pro 或更新型号的 iPhone，或任何配备 M 系列芯片的 iPad 方可流畅运行。

扩展开放生态系统的深度与广度

自 OLMo 系列模型诞生之初， 艾伦人工智能研究所 就坚持完全开放的原则。他们不仅公开了最终模型权重，更将模型构建过程中所涉及的软件、数据及相关技术细节悉数开源。 艾伦人工智能研究所 坚信，真正的开放不仅仅局限于模型本身，更应延伸至用户体验层面，构建真正意义上触手可及的开放 AI 生态系统。诸如 vLLM 和 SGLang 等优秀的开源项目，有力地推动了开发者在 разнообразных 云服务器上部署大型语言模型 (LLM) 的进程；而 Ollama 和 LM Studio 等工具的涌现，则让用户能够直接在个人计算机上体验开放权重模型的魅力。

近年来，小型模型的能力实现了飞跃式提升。尤其是在 2024 年末，7B 参数模型 在性能上已轻松超越了前一年 最先进模型 的水平。与此同时，移动处理单元的性能也在不断增强，预示着 设备端 AI 将迎来更为广阔的应用前景。

为了更好地迎接这一趋势， 艾伦人工智能研究所 推出了 OLMoE，这是一款 完全开源的工具包，旨在为研究人员和开发者提供 设备端 AI 实验平台。OLMoE 的应用场景十分广泛，主要包括：

• 真实世界任务探索： 亲身体验最先进的设备端模型在实际应用场景中的表现，发掘其所能胜任真实世界的任务。
• 高效本地 AI 模型改进研究： 深入研究如何进一步提升本地 AI 模型的效率，为设备端 AI 的优化提供思路。
• 本地模型测试： 利用 OLMoE 提供的开源代码库，在本地环境中便捷地测试和验证用户 собственные 模型。
• iOS 应用集成： 将 OLMoE 无缝集成到其他 iOS 应用程序中，拓展 AI 技术的应用边界。

与云端模型相比，OLMoE 这类设备端模型最显著的优势在于 完全的隐私性。用户的提示 (prompt) 和模型的响应 (response) 始终在本地设备上处理，无需上传至云端服务器，从而最大限度地保障了用户数据的安全。此外，由于 无需互联网连接，OLMoE 能够在任何地点、任何网络环境下稳定可靠地运行，为用户提供随时随地的 AI 服务。

从模型到应用的跃迁

为了成功构建 Ai2 OLMoE 应用， 艾伦人工智能研究所 巧妙地融合了他们最先进的完全开放技术方案。整个应用的基石是 OLMoE 模型，这是 艾伦人工智能研究所 迄今为止最有效率且完全开源的语言模型。在此基础上， 艾伦人工智能研究所 又推出了该模型的全新版本—— allenai/OLMoE-1B-7B-0125-Instruct。新版本巧妙地融合了 OLMo 2 中引入的 Dolmino 混合训练策略（应用于模型训练中期）以及 Tülu 3 模型的训练后优化方案。通过这些创新技术的加持，新版 OLMoE 在 艾伦人工智能研究所 的评估套件上的平均性能提升了 35%，同时依然保持了与原始版本相近的高效性。

*AlpacaEval 指的是 Alpaca Eval 2 Length Controlled。

为了确保 OLMoE 能够在设备端高效运行， 艾伦人工智能研究所 采用了 Q4_K_M 量化技术对其进行了模型尺寸的精简。这种量化方法对模型性能的影响甚微，例如 IFEval 分数仅从 66.4 略降至 63.6。如果您有兴趣在量化之前体验新版 OLMoE 模型的性能，可以前往 Ai2 Playground 进行在线测试。此外，GGUF 格式的量化模型已在 HuggingFace 上发布，用户可以根据需求选择 base 版本 或 instruct 版本 进行下载。

在 Ai2 OLMoE 应用的开发过程中， 艾伦人工智能研究所 与 GenUI 展开了紧密合作。该应用的构建在多个卓越的开源项目之上，例如，从 Swift 绑定到 Llama.cpp。 艾伦人工智能研究所 对整个技术堆栈进行了深度优化，最终在 iPhone 16 Pro 设备上实现了平均 41 Tokens/s 的处理速度，性能表现十分出色。

值得一提的是，Ai2 OLMoE 应用的代码已 完全开源 (https://github.com/allenai/OLMoE.swift)， 这为广大 AI 研究人员和开发者提供了宝贵的参考和借鉴。开发者可以将 Ai2 OLMoE 应用的代码库作为支架，评估更高效的设备端 AI 模型；或者，也可以将 Ai2 OLMoE 的模型实现无缝集成到其他应用程序中，赋予其强大的 AI 能力。

艾伦人工智能研究所 坚信，Ai2 OLMoE 应用的发布是迈向设备端智能未来至关重要的一步。随着移动设备处理能力和性能的持续提升， 艾伦人工智能研究所 期望 OLMoE 应用能够助力研究人员和开发者紧跟技术发展的前沿，共同探索设备端 AI 技术的无限可能。

现在，就立即在您的 iPhone 上体验 OLMoE 应用吧！