Тяжеловес! Первая в мире децентрализованная модель на 10 ББ, обученная с открытым исходным кодом за неделю!

Родилась первая в мире децентрализованно обучаемая параметрическая модель 10B!
Команда Prime Intellect объявила о завершении знаменательной работы: децентрализованная сеть обучения в США, Европе и Азии успешно обучила большую модель с 10 ББ параметров. Это революционный шаг в обучении ИИ.
Как видно из панели обучения, проект под названием INTELLECT-1 завершил обучение 1 триллиона (1T) токенов.
Кривые потерь и недоумения демонстрируют желаемую тенденцию к снижению, а количество лексем, генерируемых в секунду, остается стабильным, что говорит о том, что процесс обучения был очень успешным.
Успех этого проекта был бы невозможен без поддержки многих партнеров.
Ряд организаций, включая Hugging Face, SemiAnalysis, Arcee.ai, Hyperbolic Labs, Olas, Akash, Schelling AI и другие, предоставили ценные арифметические ресурсы для обучения. Эта беспрецедентная модель сотрудничества демонстрирует новый тип взаимодействия в области ИИ.
Как видно из таблицы лидеров проекта, участники со всего мира предоставили ошеломляющее количество вычислительного времени. Самый большой вклад достиг 8 230 часов, а участники проекта находятся в Сан-Матео, Далласе, Хельсинки и Стокгольме. Эта глобальная модель арифметического сотрудничества позволяет больше не ограничивать обучение ИИ центрами обработки данных горстки технологических гигантов.


На техническом уровне инновации этого проекта также впечатляют.
Для решения проблем межрегионального обучения команда применила технику распределенного обучения DiLoCo. Чтобы справиться с различными проблемами в распределенной среде, исследовательская группа также реализовала механизмы отказоустойчивого обучения и асинхронные распределенные техники контрольных точек.
Что касается оптимизации памяти, то команда решила перейти на фреймворк FSDP2, который успешно решил проблемы с распределением памяти, имевшиеся в FSDP1.
При этом эффективность обучения значительно повышается за счет применения технологии тензорных параллельных вычислений.
За этими технологическими инновациями стоит сильная исследовательская команда, работающая в тишине и покое. Руководитель проекта особенно благодарит Тристана Райса и Цзюньцзе Ванга за их вклад в отказоустойчивое обучение, а также Чиен-Чин Хуанга и Айрис Чжан за их работу по асинхронному распределенному контрольному пункту. Также следует отметить Ифу Ванга за его советы по тензорным параллельным вычислениям.
Что еще более интересно, так это то, что команда объявила, что в течение недели будет выпущена полная версия с открытым исходным кодом, включая базовую модель, файлы контрольных точек, модель после обучения и набор данных для обучения. Это означает, что исследователи и разработчики по всему миру вскоре смогут внедрять инновации и разработки на основе этой модели.
Уже есть разработчики, которым не терпится начать эксперименты. Один из разработчиков продемонстрировал попытку вывода модели на двух видеокартах 4090, расположенных на западном побережье США и в Европе. Хотя сетевое соединение между двумя точками было не идеальным, этот эксперимент доказал гибкость и адаптивность модели.
Успех этого проекта - не просто технологический прорыв, а важная веха в демократизации ИИ для всех.
Это доказывает, что благодаря глобальному сотрудничеству у нас есть все шансы преодолеть ограничения традиционного обучения ИИ и вовлечь больше организаций и частных лиц в волну развития ИИ.