Grok-1, la source ouverte de xAI d'Elon Musk

Résumé : Elon Musk et xAI viennent de publier les poids et l'architecture de leur modèle de langage paramétrique Grok-1 (314B) sous la licence open source Apache 2.0.

Nous avons publié les poids et l'architecture de notre modèle de mélange d'experts Grok-1, qui compte 314 milliards de paramètres. Il s'agit du point de contrôle du modèle de base original pour Grok-1 dans la phase de pré-entraînement d'octobre 2023, et il n'a pas été affiné pour une application spécifique. Le modèle a été entraîné sur de grandes quantités de données textuelles, en utilisant des piles d'entraînement personnalisées sur JAX et Rust. Les poids et l'architecture sont publiés sous la licence Apache 2.0. Pour utiliser le modèle, vous pouvez le trouver dans la section github.com/xai-org/grok Voir les instructions sur.

Détails.

Grok-1 est un modèle expert hybride dans lequel seuls les poids 25% sont actifs pour un jeton d'entrée donné, ce qui permet un calcul plus efficace.

Les modèles diffusés sont des points de contrôle non entraînés d'octobre 2023 et n'ont pas été affinés pour une tâche particulière.

xAI fournit un guide pour les développeurs sur son dépôt GitHub et a publié le modèle sur Hugging Face.

Importance : en ouvrant l'un des plus grands LLM au monde, xAI prend de l'avance sur ce que Musk considère comme une bataille morale contre le modèle fermé d'OpenAI. Bien que les fonctionnalités de Grok n'aient pas encore franchi de nouvelles barrières, cette initiative constitue une nouvelle victoire majeure pour le développement collaboratif et transparent de l'IA.