Mistral AI выпускает модели Codestral 25.01: более крупные, быстрые и сильные модели для программирования
Код со скоростью клавиши Tab. Сегодня в Continue.dev и вскоре будет доступен на других ведущих кодовых помощниках с искусственным интеллектом.
Из всех инноваций в области ИИ, появившихся за последний год, генерация кода стала, пожалуй, самой важной. Подобно тому, как сборочные конвейеры упростили производство, а калькуляторы изменили математику, модели кодирования представляют собой значительное изменение в разработке программного обеспечения.
Мистраль ИИ Компания Codestral находится в авангарде этих изменений, запустив Codestral, современную модель кодирования (SOTA), выпущенную в начале этого года. Легкая, быстрая и способная работать с более чем 80 языками программирования, Codestral оптимизирована для использования на низких и высоких частотах и поддерживает такие задачи, как Fill-in-the-Middle (FIM), исправление кода и генерация тестов. codestral Codestral используется тысячами разработчиков в качестве мощного помощника по кодированию, часто повышая производительность в несколько раз. Сегодня Codestral претерпевает значительное обновление.
Кодестраль 25.01 Благодаря более эффективной архитектуре и улучшенному Tokeniser по сравнению с оригинальной версией, код генерируется и завершается примерно в 2 раза быстрее. Теперь эта модель является безусловным лидером по написанию кода в своей весовой категории и занимает первое место по SOTA среди всех вариантов использования в FIM.
бенчмаркинг
Мы сравнили новый Codestral с ведущей моделью кодирования с параметрами менее 100B, которая считается лучшей для задачи FIM.
в общих чертах
| Python | SQL | Многоязычные средние значения | |||
|---|---|---|---|---|---|
| моделирование | Длина контекста | HumanEval | MBPP | CruxEval | LiveCodeBench |
| Кодестраль-2501 | 256k | 86.6% | 80.2% | 55.5% | 37.9% |
| Кодестраль-2405 22B | 32k | 81.1% | 78.2% | 51.3% | 31.5% |
| Инструкция Codellama 70B | 4k | 67.1% | 70.8% | 47.3% | 20.0% |
| DeepSeek Кодер 33B инструкция | 16k | 77.4% | 80.2% | 49.5% | 27.0% |
| DeepSeek Coder V2 lite | 128k | 83.5% | 83.2% | 49.7% | 28.1% |
По языку
| моделирование | HumanEval Python | HumanEval C++ | HumanEval Java | HumanEval Javascript | HumanEval Bash | Типовой сценарий HumanEval | HumanEval C# | HumanEval (среднее) |
|---|---|---|---|---|---|---|---|---|
| Кодестраль-2501 | 86.6% | 78.9% | 72.8% | 82.6% | 43.0% | 82.4% | 53.2% | 71.4% |
| Кодестраль-2405 22B | 81.1% | 68.9% | 78.5% | 71.4% | 40.5% | 74.8% | 43.7% | 65.6% |
| Инструкция Codellama 70B | 67.1% | 56.5% | 60.8% | 62.7% | 32.3% | 61.0% | 46.8% | 55.3% |
| Инструкция DeepSeek Coder 33B | 77.4% | 65.8% | 73.4% | 73.3% | 39.2% | 77.4% | 49.4% | 65.1% |
| DeepSeek Coder V2 lite | 83.5% | 68.3% | 65.2% | 80.8% | 34.2% | 82.4% | 46.8% | 65.9% |
FIM (однострочное точное совпадение)
| моделирование | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (среднее) |
|---|---|---|---|---|
| Кодестраль-2501 | 80.2% | 89.6% | 87.96% | 85.89% |
| Кодестраль-2405 22B | 77.0% | 83.2% | 86.08% | 82.07% |
| OpenAI FIM API* | 80.0% | 84.8% | 86.5% | 83.7% |
| API чата DeepSeek | 78.8% | 89.2% | 85.78% | 84.63% |
| DeepSeek Coder V2 lite | 78.7% | 87.8% | 85.90% | 84.13% |
| Инструкция DeepSeek Coder 33B | 80.1% | 89.0% | 86.80% | 85.3% |
FIM pass@1.
| моделирование | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (среднее) |
|---|---|---|---|---|
| Кодестраль-2501 | 92.5% | 97.1% | 96.1% | 95.3% |
| Кодестраль-2405 22B | 90.2% | 90.1% | 95.0% | 91.8% |
| OpenAI FIM API* | 91.1% | 91.8% | 95.2% | 92.7% |
| API чата DeepSeek | 91.7% | 96.1% | 95.3% | 94.4% |
- GPT 3.5 Turbo - это новейший FIM API от OpenAI.
Доступно с сегодняшнего дня
Codestral 25.01 распространяется среди разработчиков по всему миру через наших партнеров по IDE / IDE-плагинам. Вы можете почувствовать разницу в качестве отклика и скорости завершения кода, выбрав Codestral 25.01 в соответствующем селекторе моделей.
Codestral 25.01 может быть развернут локально на территории предприятия или в виртуальном парке для корпоративного использования, особенно в тех случаях, когда требуется сохранение данных и моделей.
Посмотрите демонстрацию ниже и добавьте Продолжить для бесплатной пробной версии в VS Code или JetBrains.
* :: Codestral 25.01 chat demo
Тай Данн, соучредитель компании Continue, сказал: "Для кодовых помощников ИИ завершение кода составляет основную часть работы, что требует моделей, превосходно справляющихся с заполнением середины (FIM). Codestral 25.01 знаменует собой значительный прогресс в этой области. Новая модель Mistral AI обеспечивает более точные рекомендации в более короткие сроки. -- Это ключевой компонент точной и эффективной разработки программного обеспечения. Именно поэтому Codestral - это модель автозаполнения, которую мы рекомендуем разработчикам".
Чтобы создать собственную интеграцию с помощью Codestral API, перейдите по ссылке la Plateforme и используя codestral-latestAPI также доступен в Vertex AI для Google Cloud. API также доступен в Vertex AI для Google Cloud, в частной предварительной версии в Azure AI Foundry и скоро появится в Amazon Bedrock.Чтобы узнать больше, прочтите Документация по кодексу.
Codestral 25.01 in LMsysВторой пилот Он занял первое место в чартах арены. Нам не терпится узнать о ваших впечатлениях!
© заявление об авторских правах
Авторское право на статью Круг обмена ИИ Пожалуйста, не воспроизводите без разрешения.
Похожие статьи
Нет комментариев...
Русский 
简体中文 
English 
日本語 
한국어 
Español 
Deutsch 
Français 
Português do Brasil