JetBrains Open Source Mellum : Un modèle spécialisé conçu pour la complétion de code

JetBrains, fournisseur d'outils de développement de logiciels, a récemment annoncé qu'il avait ouvert la version de base de Mellum, son modèle de langage conçu spécifiquement pour la complétion de code, et qu'il l'avait mise à disposition sur la plateforme Hugging Face. Cette initiative vise à favoriser la transparence et la collaboration dans le domaine de l'IA dans le développement de logiciels.

Plutôt que de viser l'omniprésence, la philosophie de conception de Mellum se concentre sur une tâche essentielle : l'achèvement du code. JetBrains appelle ce type de modèle Modèles dédiés (modèle spécialisé), soulignant que son objectif de conception est de disposer de capacités approfondies dans des domaines spécifiques, plutôt que de rechercher aveuglément une grande généralité. Le modèle prend en charge la complétion de code dans une variété de langages de programmation, notamment Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust et Ruby.

source ouverte Mellum-4b-base est le premier modèle de la famille Mellum. JetBrains prévoit d'étendre cette famille à l'avenir avec des modèles plus spécialisés pour différentes tâches de codage, telles que la prédiction de la disparité.

Les considérations derrière l'Open Source

La décision de rendre Mellum open source n'a pas été prise à la légère. Plutôt que d'être une version affinée d'un modèle open source existant, Mellum a été formé dès le départ par JetBrains pour fournir une fonctionnalité de complétion de code basée sur le cloud pour ses produits IDE, et a été mis à la disposition du public l'année dernière.

JetBrains déclare que Open Source Mellum est fondé sur la croyance dans le pouvoir de la transparence, de la collaboration et du progrès partagé. De Linux et Git à Node.js et Docker, le paradigme de l'open source a été l'un des principaux moteurs des grandes avancées technologiques. Si l'on considère qu'il existe déjà des LLM open source plus performants que certains leaders de l'industrie, il n'est pas improbable que le développement global de l'IA suive une trajectoire similaire.

Cette initiative signifie également que JetBrains ouvre l'une de ses technologies de base à la communauté. En diffusant Mellum sur Hugging Face, l'entreprise offre aux chercheurs, aux éducateurs et aux équipes techniques de haut niveau la possibilité de se familiariser avec le fonctionnement interne d'un modèle spécialisé. Plus qu'un simple outil, il s'agit d'un investissement dans la recherche ouverte et la collaboration.

Qu'est-ce qu'un modèle spécialisé ?

Dans le domaine de l'apprentissage automatique, la spécialisation n'est pas un nouveau concept, mais une approche fondamentale qui a guidé la conception de modèles pendant des décennies - construire des modèles pour résoudre des tâches spécifiques de manière efficace et efficiente. Toutefois, ces dernières années, le débat sur l'intelligence artificielle s'est progressivement orienté vers la tentative de couvrir toutes les tâches à l'aide de grands modèles généralisés, mais cela s'accompagne souvent de coûts informatiques et environnementaux importants.

Modèles dédiésElle revient au contraire à l'objectif initial de la spécialisation : construire des modèles performants dans un domaine particulier.

On peut comparer cela à une "compétence en T" : une personne a une connaissance étendue de nombreux sujets (étendue de la connaissance, la barre horizontale du T), mais une expertise approfondie dans un domaine particulier (profondeur de la connaissance, la barre verticale du T). Les modèles spécialisés suivent la même philosophie ; ils ne sont pas faits pour tout gérer, mais se spécialisent et excellent dans une seule tâche pour être vraiment utiles dans un domaine particulier.

Mellum est l'incarnation de cette philosophie. Il s'agit d'un modèle relativement petit et efficace conçu pour les tâches liées au code, à commencer par la complétion de code.

La raison de cette approche est que tous les problèmes ne nécessitent pas de solutions génériques et que toutes les équipes n'ont pas les ressources ou le besoin d'utiliser de grands modèles complets. Les modèles spécialisés (tels que Mellum) offrent des avantages indéniables :

• Fournir de la précision pour les tâches spécifiques à un domaine.
• Rentabilité en termes d'exploitation et de déploiement.
• Les besoins de calcul et l'empreinte carbone sont faibles.
• Offre une plus grande accessibilité aux chercheurs, aux éducateurs et aux petites équipes.

Il ne s'agit pas d'un recul technologique, mais plutôt d'une application des principes de spécialisation éprouvés aux problèmes modernes de l'IA. JetBrains considère qu'il s'agit là d'une façon plus intelligente d'avancer.

Quelles sont les performances de Mellum ?

Mellum est un modèle paramétrique 4B multilingue (Mellum-4b-base), optimisé spécifiquement pour la complétion de code. JetBrains l'a testé dans plusieurs langues et sur plusieurs ensembles de données, et a procédé à une évaluation manuelle approfondie dans son IDE.

Vous trouverez ci-dessous des données comparant les performances de Mellum à celles d'un certain nombre de modèles comportant un plus grand nombre de paramètres (tous les détails, les résultats et les comparaisons se trouvent dans la carte de modèle de Hugging Face) :

Note : HumanEval Infilling teste les capacités de remplissage de code, RepoBench évalue les performances dans le contexte d'une base de code réelle, et SAFIM est un autre test de référence pour l'achèvement du code. Les modèles de comparaison comprennent la famille CodeLlama de Meta et la famille DeepSeek du modèle Coder.

Les données montrent que Mellum obtient des résultats compétitifs dans des tests de référence spécifiques (en particulier lorsque sa taille est prise en compte) malgré son petit nombre de participants. Cela confirme l'idée que des modèles dédiés peuvent atteindre des performances efficaces sur des tâches spécifiques. Le nombre de paramètres n'est pas la seule mesure de la capacité d'un modèle, mais l'optimisation spécifique à une tâche est également cruciale.

Pour qui est Mellum ?

Il est important de préciser que la version actuelle de Mellum publiée sur Hugging Face n'est pas destinée en premier lieu au développeur final moyen, qui n'aura peut-être pas à peaufiner ou à déployer directement le modèle.

Le modèle est ouvert aux groupes suivants :

1. Chercheurs en IA/ML : En particulier, les universitaires qui étudient le rôle de l'IA dans le développement de logiciels, qui effectuent des analyses comparatives ou qui étudient l'interprétabilité des modèles.
2. Ingénieurs et éducateurs en IA/ML : Il peut être utilisé comme base pour apprendre à construire, affiner et adapter des modèles linguistiques spécifiques à un domaine, ou pour soutenir des projets éducatifs qui se concentrent sur l'architecture et la spécialisation du LLM.

Découvrez Mellum dès maintenant

Le modèle de base Mellum est désormais disponible en Visage étreint La mise en service. JetBrains insiste sur le fait qu'il ne s'agit que d'un début et que son objectif n'est pas de viser la généralité, mais de construire des outils ciblés et efficaces. Pour ceux qui souhaitent explorer, expérimenter ou construire sur la base de Mellum, il est désormais possible d'accéder au modèle et de l'essayer.