Voxtral - речевые модели с открытым исходным кодом от Mistral AI

Что такое Voxtral?

Фокстрал, да. Мистраль ИИ Voxtral - это современная речевая модель с открытым исходным кодом, которая способствует развитию естественного взаимодействия человека и компьютера благодаря мощным возможностям транскрипции и понимания речи. Voxtral доступен в двух версиях - 24B для массового производства и 3B для локального развертывания. Он мультиязычен, автоматически определяет языки и может обрабатывать до 30 минут транскрипции и до 40 минут понимания аудио. Благодаря встроенным функциям вопросов и ответов и резюмирования Voxtral может генерировать структурированный контент без необходимости использования дополнительной языковой модели и напрямую запускать вызовы внутренних функций для оптимизации эффективности и стоимости голосового взаимодействия. Voxtral сочетает технологию глубокого обучения с распознаванием речи и пониманием естественного языка и может широко использоваться в таких областях, как запись совещаний, обслуживание клиентов, создание контента, образование и интеллектуальные помощники, способствуя популяризации голосового взаимодействия. Он широко используется в таких областях, как запись конференций, обслуживание клиентов, создание контента, образование, интеллектуальные помощники и т. д., способствуя популяризации голосового взаимодействия.

Ключевые особенности Voxtral

• Большие возможности обработки звука: Работает с 30 минутами транскрипции аудио и 40 минутами глубокого понимания, что облегчает работу с длинным контентом.
• Умные вопросы и ответы и резюме: Поддерживает прямой опрос аудиоконтента для создания четких структурированных резюме без необходимости дополнительного распознавания речи или моделирования языка.
• Многоязычное автоматическое распознавание: Поддерживает множество основных языков (таких как английский, французский, испанский и т.д.), может автоматически определять язык для удовлетворения потребностей пользователей в различных регионах.
• Триггер голосовых командНовейшая версия API позволяет запускать внутренние функции или вызовы API непосредственно на основе голосовых команд, что упрощает процесс управления и повышает эффективность взаимодействия.
• Понимание и обработка текста: Сильное восприятие текста с поддержкой ввода и обработки текста.
• Эффективное выполнение транскрипции: Предоставляет оптимизированные услуги транскрипции по низкой цене для крупномасштабных приложений.

Адрес официального сайта Voxtral

• Веб-сайт проекта:: https://mistral.ai/news/voxtral
• Библиотека моделей HuggingFace::
  • https://huggingface.co/mistralai/Voxtral-Small-24B-2507
  • https://huggingface.co/mistralai/Voxtral-Mini-3B-2507

Как использовать Вокстрал

• Посетите официальный сайт: Посетите сайт проекта Voxtral и библиотеку моделей HuggingFace.
• Выберите правильную версию::
  • Voxtral-Small-24B-2507: Подходит для производственных масштабов с повышенной производительностью.
  • Voxtral-Mini-3B-2507: Подходит для локального развертывания и менее ресурсоемка.
• Установка зависимостей: Убедитесь, что Python и необходимые зависимости установлены в вашем окружении, например transformers ответить пением torch. ИспользуйтеСледующая команда устанавливает::

pip install transformers torch

•  Модели для погрузки: Использование HuggingFace's transformersБиблиотека загружает модель Voxtral:

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

model_name = "mistralai/Voxtral-Small-24B-2507"  # 或者 "mistralai/Voxtral-Mini-3B-2507"
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_name)
processor = AutoProcessor.from_pretrained(model_name)

• Подготовка аудиоданных: Убедитесь, что формат аудиофайла является одним из поддерживаемых форматов (например, WAV, MP3 и т.д.).
  • Расшифрованное аудио:Транскрипция аудио с помощью модели Voxtral:

from transformers import pipeline

# 创建一个语音转录 pipeline
transcriber = pipeline("automatic-speech-recognition", model=model_name)

# 转录音频文件
transcription = transcriber("path/to/your/audio/file.wav")
print(transcription)

Основные преимущества компании Voxtral

• Мощная обработка речи: Поддерживает до 30 минут транскрипции аудио и до 40 минут углубленного понимания, обеспечивая высокую точность транскрипции сложного и объемного контента.
• Поддержка нескольких языков: Автоматическое определение нескольких языков (например, английского, испанского, французского и т. д.) без необходимости ручного переключения для удовлетворения потребностей пользователей по всему миру.
• Эффективные возможности взаимодействия: Встроенные функции вопросов и ответов и подведения итогов, непосредственно запускающие вызов внутренних функций, упрощают процесс работы и повышают эффективность взаимодействия.
• Оптимизированная производительность и стоимостьПредоставление высокопроизводительных услуг транскрипции, которые являются экономически эффективными, подходят для крупномасштабных приложений и снижают барьер для использования.
• Гибкие варианты развертывания: Доступны версии 24B и 3B для производственных и локальных развертываний, соответственно, и легко интегрируются.
• глубина понимания: Поддержка длинных текстовых контекстов (32 тыс. лексем) в сочетании с распознаванием речи и пониманием естественного языка для снижения количества ошибок.

Для кого предназначен Voxtral

• бизнес-пользователь: Команды по обслуживанию клиентов и специалисты по записи совещаний используют Voxtral для повышения эффективности обслуживания и подведения итогов совещаний.
• педагогПреподаватели записывают содержание курса и дают вопросы и ответы в режиме реального времени для повышения интерактивности обучения.
• создатель контента: Журналисты, продюсеры подкастов и создатели видео эффективно расшифровывают контент и повышают творческую продуктивность.
• Разработчик технологий: Интеграция Voxtral в проекты по разработке приложений для голосового взаимодействия.
• научный сотрудник: Обработка речевых данных с помощью Voxtral для повышения эффективности исследований в области языка и анализа данных.