MOSS-TTSD - Tsinghua Labs Open-Source-Modell für zweisprachige Dialoge zur Spracherzeugung

Neueste AI-RessourcenAktualisiert vor 4 Tagen AI-Austauschkreis

MOSS-TTSD是什么

MOSS-TTSD 是清华大学语音与语言实验室开发的开源口语对话语音生成模型。模型能将文本对话脚本转化为自然流畅且富有表现力的对话语音，支持中英文双语生成。模型基于先进的语义-音学神经网络音频编解码器和大规模预训练语言模型，结合超过 100 万小时的单人语音数据和 40 万小时的对话语音数据进行训练。MOSS-TTSD 支持零样本语音克隆，能根据对话脚本生成准确的对话者切换语音，无需额外样本即可实现音色克隆。MOSS-TTSD 适用 AI 播客、影视配音、长篇访谈、新闻报道和电商直播等多种场景，且完全开源，支持免费商业使用。

MOSS-TTSD的主要功能

自然流畅的对话语音生成：能将文本对话转换为自然、富有表现力的语音，精准捕捉对话中的韵律和语调。
零样本多说话人音色克隆：无需额外语音样本，根据对话脚本生成不同对话者的音色，实现流畅的对话切换。
Zweisprachige Unterstützung：支持中文和英文两种语言的高质量语音生成，满足多种语言场景需求。
长篇语音生成：基于低比特率编解码器，能一次性生成长达 960 秒的语音，避免拼接语音的不自然过渡。
开源与商业就绪：模型权重、推理代码和 API 接口完全开源，支持免费商业使用，方便开发者和企业快速部署应用。

MOSS-TTSD的官网地址

Projekt-Website：https://www.open-moss.com/en/moss-ttsd/
Github-Repositorien：https://github.com/OpenMOSS/MOSS-TTSD
HuggingFace-Modellbibliothek：https://huggingface.co/fnlp/MOSS-TTSD-v0.5
Online-Erlebnis-Demo：https://huggingface.co/spaces/fnlp/MOSS-TTSD

如何使用MOSS-TTSD

Vorbereitung der Umwelt::
- 安装 NVIDIA 驱动：确保安装最新版本的 NVIDIA 驱动和 CUDA Toolkit。
- 安装 Python 和依赖::

pip install torch torchvision torchaudio transformers soundfile

Das Modell erhalten：从 Hugging Face 下载模型::

git clone https://huggingface.co/fnlp/MOSS-TTSD-v0.5

加载模型并生成语音

from transformers import AutoModelForTextToSpeech, AutoTokenizer
import soundfile as sf

# 加载模型和分词器
model_name = "fnlp/MOSS-TTSD-v0.5"
model = AutoModelForTextToSpeech.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 输入文本
text = "你好，这是一个测试对话。"
inputs = tokenizer(text, return_tensors="pt")

# 生成语音
audio = model.generate(**inputs)

# 保存语音文件
sf.write("output.wav", audio.numpy(), model.config.sampling_rate)

运行环境检查：检查 GPU 支持::

import torch
print(torch.cuda.is_available())

MOSS-TTSD的核心优势

自然流畅的语音生成：能将文本对话转换为自然流畅、富有表现力的语音，精准捕捉对话中的韵律和语调。
多说话人音色克隆：支持零样本音色克隆，无需额外语音样本即可生成不同对话者的音色，实现自然的对话切换。
Zweisprachige Unterstützung：支持中文和英文两种语言的高质量语音生成，满足多种语言场景的需求。
高效的数据处理与预训练：结合大规模语音数据进行训练，基于优化的训练框架，确保生成语音的高质量和高效性。
开源与商业就绪：模型完全开源且支持免费商业使用，方便开发者快速部署和应用。
Breite Palette von Anwendungsszenarien：适用 AI 播客、影视配音、长篇访谈、新闻报道和电商直播等多种场景。
technologische Innovation：基于创新的语音离散化编码器 XY-Tokenizer 和低比特率编解码器，提升语音生成的性能和效率。