Ai2 OLMoE: приложение ИИ для iOS с открытым исходным кодом, основанное на моделях OLMoE, работающих в автономном режиме

Общее введение

Ai2 OLMoE - это приложение для iOS с открытым исходным кодом, разработанное Институтом искусственного интеллекта Аллена (Ai2, Allen Institute for Artificial Intelligence) для создания моделей искусственного интеллекта, которые работают исключительно на устройстве. Приложение использует модель Ai2 OLMoE с открытым исходным кодом, которая может работать в автономном режиме без подключения к облаку, обеспечивая конфиденциальность и безопасность данных пользователя. Ai2 OLMoE подходит не только для исследователей, изучающих возможности улучшения локальных моделей ИИ, но и предоставляет разработчикам инструменты для быстрого создания новых опытов ИИ.

Опыт работы в Интернете: https://playground.allenai.org/?model=olmoe-0125

Список функций

• Полностью открытый исходный код: Модель и код приложения Ai2 OLMoE имеют полностью открытый исходный код, что позволяет исследователям и разработчикам проводить эксперименты и вносить улучшения.
• эффективная работа: Высокопроизводительные вычисления ИИ на устройстве с использованием эффективной смеси экспертов.
• Конфиденциальность: Все операции выполняются на устройстве, поэтому пользовательские данные не покидают его.
• многофункциональная интеграция: Поддержка интеграции моделей OLMoE в другие приложения для iOS для расширения их функциональности.
• Поддержка общества: Присоединяйтесь к серверу Ai2 Discord, чтобы общаться с другими исследователями и разработчиками и делиться проектами и опытом.

Использование помощи

Процесс установки

1. Откройте App Store и найдите "Ai2 OLMoE".
2. Нажмите кнопку "Получить", чтобы загрузить и установить приложение.
3. После завершения установки откройте приложение и следуйте подсказкам для первоначальной настройки.

Руководство по использованию

Испытайте модель искусственного интеллекта

1. Откройте приложение Ai2 OLMoE.
2. Выберите опцию "Опытная модель", чтобы начать взаимодействие с моделью.
3. Введите или выберите задачу и понаблюдайте за поведением модели.

Исследование и совершенствование моделей искусственного интеллекта

1. Загрузите и установите приложение Ai2 OLMoE.
2. Откройте приложение и выберите "Режим исследования".
3. Обучение и уточнение модели с помощью инструментов и наборов данных, предоставляемых приложением.
4. Загрузите улучшенную модель в приложение и проверьте ее работоспособность.

Интеграция в другие приложения для iOS

1. Доступ к репозиторию открытого исходного кода Ai2 OLMoE на GitHub (ссылка предоставляется в приложении).
2. Загрузите кодовую базу и настройте ее в соответствии с инструкциями в документации.
3. Расширьте функциональность модели OLMoE, интегрировав ее в свое приложение для iOS.

Подробная процедура работы

1. Загрузка и установка: Найдите и загрузите приложение Ai2 OLMoE в App Store и следуйте подсказкам для завершения установки.
2. первоначальная настройка: Откройте приложение для первоначальной настройки, включая выбор языка и параметров конфиденциальности.
3. экспериментальная модель: Выберите "Режим опыта", введите или выберите задание и наблюдайте за поведением модели.
4. исследовательская модель: Выберите "Режим исследования" и используйте предоставленные инструменты и наборы данных для обучения и уточнения модели.
5. Интегрированный режим: Посетите репозиторий кода GitHub, чтобы загрузить и настроить код для интеграции модели в другие приложения для iOS.

Подробнее о Ai2 OLMoE

Модель OLMoE, разработанная Институтом искусственного интеллекта Аллена (AI2), теперь официально представлена в виде передовой модели с открытым исходным кодом для устройств.

Институт искусственного интеллекта (ИИ) Аллена давно мечтает о создании превосходных языковых моделей с открытым исходным кодом. Теперь они сделали значительный шаг на пути к этой цели - Институт искусственного интеллекта Аллена пересмотрел границы того, что считается полностью открытым исходным кодом, выпустив полностью открытое приложение для iOS. Приложение разработано для того, чтобы пользователи могли безопасно и конфиденциально работать с моделями на своих устройствах, демонстрируя тем самым глубокое развитие философии открытого исходного кода в AIII.

Это приложение с полностью открытым исходным кодом поможет исследователям изучить пути совершенствования моделей на стороне устройства и даст разработчикам возможность создавать прототипы для инновационного ИИ. Его открытый исходный код не только предоставляет ценную платформу для исследователей, но и вдохновляет сообщество разработчиков на неограниченный творческий подход к развитию технологий ИИ на стороне устройства и их применению.

Пользователи могут загрузить приложение прямо сейчас из Apple App Store или создать его самостоятельно, получив исходный код из репозитория. Важно отметить, что из-за аппаратных соображений первая версия приложения OLMoE будет работать только на iPhone 15 Pro или новее, а также на любом iPad с чипом серии M.

Расширение глубины и ширины открытых экосистем

С момента создания серии моделей OLMo Институт искусственного интеллекта (AI) Аллена придерживается принципа полной открытости. Они не только раскрыли окончательный вес модели, но и выложили в открытый доступ программное обеспечение, данные и связанные с ними технические детали, участвующие в процессе создания модели. Allen AI Institute считает, что настоящая открытость не ограничивается только самой моделью, но и распространяется на пользовательский опыт, чтобы создать по-настоящему открытую экосистему ИИ, которая находится в пределах досягаемости. Технологии ИИ, такие как vLLM и SGLang - отличные проекты с открытым исходным кодом, которые дают разработчикам мощный толчок к развертыванию больших языковых моделей (LLM) на разнообразных облачных серверах; и Оллама С другой стороны, появление таких инструментов, как LM Studio, позволяет пользователям работать с открытыми весовыми моделями прямо на своих персональных компьютерах.

За последние годы возможности небольших моделей улучшились в разы. В частности, к концу 2024 года параметрическая модель 7B легко превзойдет по производительности самую современную модель предыдущего года. В то же время производительность мобильных процессоров также растет, что свидетельствует о том, что ИИ на стороне устройства готов к более широкому внедрению.

Чтобы лучше понять эту тенденцию, Институт искусственного интеллекта Аллена запустил программу OLMoE, которая Полностью открытый набор инструментовЦель - предоставить исследователям и разработчикам Платформа для экспериментов с искусственным интеллектом на стороне устройстваOLMoE имеет широкий спектр сценариев применения, включая:

• Исследование реальных миссийПрактический опыт работы с современными моделями устройств в реальных сценариях применения и узнайте, что они могут сделать для решения реальных задач.
• Исследование по улучшению эффективных локальных моделей ИИ: Рассмотрим, как еще больше повысить эффективность локальных моделей ИИ, и предложим идеи по оптимизации ИИ на стороне устройства.
• Тестирование локальной модели: Удобное тестирование и проверка собственных моделей пользователей в локальных условиях с использованием базы открытого кода, предоставляемой OLMoE.
• Интеграция приложений для iOS: Бесшовная интеграция OLMoE в другие приложения для iOS, чтобы расширить границы технологий искусственного интеллекта.

Наиболее значительные преимущества модели OLMoE на стороне устройства по сравнению с облачной моделью заключаются в следующем Полная конфиденциальностьПодсказки пользователя и ответы модели всегда обрабатываются локально на устройстве. Подсказки пользователя и ответы модели всегда обрабатываются локально на устройстве и не требуют загрузки на облачный сервер, что обеспечивает максимальную безопасность пользовательских данных. Кроме того, поскольку Не требуется подключение к ИнтернетуOLMoE может стабильно и надежно работать в любом месте и в любой сетевой среде, предоставляя пользователям услуги искусственного интеллекта в любое время и в любом месте.

Переход от моделей к приложениям

Для того чтобы успешно создать приложение Ai2 OLMoE, Институт искусственного интеллекта Аллена умело объединил свои самые современные технологические решения с открытым исходным кодом. Краеугольным камнем приложения является модель OLMoE, которая представляет собой самую эффективную языковую модель с открытым исходным кодом, когда-либо разработанную Институтом искусственного интеллекта Аллена. Опираясь на этот фундамент, Институт искусственного интеллекта Аллена выпустил новую версию модели, allenai/OLMoE-1B-7B-0125-Instruct, которая включает в себя гибридную стратегию обучения Dolmino, представленную в OLMo 2 (применяется в середине обучения модели), и обучение модели Tülu 3. и схема посттренинговой оптимизации для моделей Tülu 3. Благодаря этим нововведениям новая версия OLMoE достигает среднего прироста производительности 35% на оценочном комплексе Института искусственного интеллекта Аллена, сохраняя при этом тот же уровень эффективности, что и оригинальная версия.

*AlpacaEval относится к Alpaca Eval 2 Length Controlled.

Чтобы обеспечить эффективную работу OLMoE на стороне устройства, Институт искусственного интеллекта Аллена использовал квантование Q4_K_M для уменьшения размера модели. Это квантование оказало минимальное влияние на производительность модели, например, оценка IFEval незначительно снизилась с 66,4 до 63,6. Если вам интересно испытать производительность новой версии модели OLMoE до квантования, вы можете перейти на сайт Ai2 Игровая площадка Онлайн-тестирование. Кроме того, количественная модель в формате GGUF была выпущена на HuggingFace, и пользователи могут выбрать базовую или инструктивную версию для загрузки в зависимости от своих потребностей.

Институт искусственного интеллекта Аллена тесно сотрудничал с GenUI при разработке приложения Ai2 OLMoE. Приложение построено на основе нескольких выдающихся проектов с открытым исходным кодом, таких как привязка Swift к Llama.cpp. Институт искусственного интеллекта Аллена глубоко оптимизировал весь технологический стек, в результате чего средняя скорость обработки данных составила 41 токен/с на устройстве iPhone 16 Pro, что является выдающейся производительностью.

Стоит отметить, что код приложения Ai2 OLMoE был Полностью открытый исходный код (https://github.com/allenai/OLMoE.swift), в котором содержатся ценные рекомендации и уроки для широкого круга исследователей и разработчиков ИИ. Разработчики могут использовать кодовую базу приложения Ai2 OLMoE в качестве основы для оценки более эффективных моделей ИИ на стороне устройства или легко интегрировать реализацию моделей Ai2 OLMoE в другие приложения, чтобы наделить их мощными возможностями ИИ.

Институт искусственного интеллекта Аллена считает, что выпуск приложения Ai2 OLMoE - это важный шаг на пути к будущему интеллекта на базе устройств. Поскольку вычислительная мощность и производительность мобильных устройств продолжают расти, Ai2 ожидает, что приложение OLMoE поможет исследователям и разработчикам оставаться на переднем крае технологий и исследовать безграничные возможности технологий искусственного интеллекта на базе устройств.

Испытайте приложение OLMoE на своем iPhone уже сегодня!