Открытый проект Элона Маска xAI Grok-1

Краткое описание: Элон Маск и компания xAI только что опубликовали вес и архитектуру своей массивной параметрической языковой модели Grok-1 объемом 314B под лицензией Apache 2.0 с открытым исходным кодом.

Мы опубликовали весовые коэффициенты и архитектуру нашей модели Grok-1 с 314 миллиардами параметров смеси экспертов. Это исходная базовая контрольная точка модели Grok-1 на этапе предварительного обучения в октябре 2023 года, и она не дорабатывалась для конкретного приложения. Модель была обучена на большом количестве текстовых данных с использованием пользовательских стеков обучения на JAX и Rust. Веса и архитектура выпущены под лицензией Apache 2.0. Чтобы использовать модель, вы можете найти ее в разделе github.com/xai-org/grok Посмотреть инструкции по.

Подробности.

Grok-1 - это гибридная экспертная модель, в которой только 25% весов активны для любого заданного входного маркера для более эффективного вычисления.

Выпущенные модели являются необученными контрольными точками от октября 2023 года и не были отточены для какой-либо конкретной задачи.

xAI предоставляет разработчикам руководство для начала работы на своем репозитории GitHub и опубликовал модель на Hugging Face.

Важность: открывая один из крупнейших в мире LLM, xAI опережает то, что Маск считает моральной борьбой с закрытой моделью OpenAI. Хотя функции Grok еще не преодолели никаких новых барьеров, этот шаг является еще одной крупной победой в области совместной и прозрачной разработки ИИ.