Moshi: фреймворк речевого диалога в реальном времени с поддержкой нескольких языков и акцентов для базовых моделей речевого диалога

Общее введение

Moshi Chat - сквозной голосовой помощник с искусственным интеллектом в реальном времени от Kyutai, французской некоммерческой лаборатории искусственного интеллекта. Он не только слушает в режиме реального времени, но и участвует в естественных разговорах и поддерживает мультимодальное взаимодействие, включая возможность видеть, слышать и говорить. Moshi Chat понимает интонацию пользователя и может одновременно слушать и говорить в любой момент времени. Благодаря своим уникальным возможностям и открытому исходному коду Moshi Chat является пионером в области разработки ИИ.

В качестве потокового нейронного аудиокодека используется Mimi, способный обрабатывать звук 24 кГц и сжимать его до пропускной способности 1,1 кбит/с с задержкой 80 мс. moshi может обрабатывать два аудиопотока одновременно, один из которых принадлежит moshi, а другой - пользователю, позволяя ему слушать и говорить одновременно. Модель разработана для понимания и выражения эмоций и поддерживает несколько языков и акцентов.

Список функций

• Голосовое взаимодействие в реальном времени: поддерживает как прослушивание, так и говорение, обеспечивая плавный диалог.
• Мультимодальное взаимодействие: поддерживает интегрированную обработку речевой, текстовой и визуальной информации.
• Понимание эмоций: способность распознавать и выражать широкий спектр эмоций делает взаимодействие более естественным.
• Проекты с открытым исходным кодом: предоставление открытого кода и моделей для поддержки сотрудничества и инноваций сообщества.
• Эффективная производительность: обработка двух пакетов при 24 ГБ VRAM с поддержкой нескольких бэкендов.
• Низкая задержка: достижение сквозной задержки в 200 миллисекунд для обеспечения отклика в режиме реального времени.

Использование помощи

Установка и использование

1. интервью Официальный сайт Moshi Chat.
2. Введите свой адрес электронной почты и нажмите "Присоединиться к очереди".
3. Начните диалог с Moshi Chat.

Руководство по эксплуатации функций

голосовое взаимодействие в реальном времени

• Когда вы откроете Moshi Chat, вы сможете поговорить с ними напрямую через микрофон.
• Moshi Chat обрабатывает ваш голосовой ввод в режиме реального времени и реагирует соответствующим образом.

мультимодальное взаимодействие

• Помимо голоса, вы можете взаимодействовать с Moshi Chat с помощью текстового ввода.
• Moshi Chat может обрабатывать как голосовые, так и текстовые сообщения, обеспечивая интегрированный интерактивный опыт.

Эмоциональное понимание

• Moshi Chat умеет распознавать и выражать эмоции, поэтому вы можете попробовать поговорить с ним в разных тонах и понаблюдать за его реакцией.
• Эта функция делает взаимодействие с Moshi Chat более ярким и естественным.

проект с открытым исходным кодом

• Kyutai предоставляет открытый исходный код для Moshi Chat, который вы можете найти на GitHub.
• Вы можете загрузить код, модифицировать и оптимизировать его локально, чтобы принять участие в совместном развитии сообщества.

Высокая производительность при низкой задержке

• Moshi Chat способен эффективно обрабатывать два размера партий, имеет 24 ГБ VRAM и поддерживает несколько бэкендов, таких как CUDA, Metal и CPU.
• Оптимизированный код выводов и улучшенное кэширование KV обеспечивают эффективную работу модели, а сквозная задержка составляет 200 миллисекунд, что гарантирует отклик в режиме реального времени.