IndexTTS: 중국어-영어 혼합을 지원하는 텍스트 음성 변환 도구

일반 소개

IndexTTS는 GitHub에서 호스팅되고 index-tts 팀이 개발한 오픈 소스 텍스트 음성 변환(TTS) 도구입니다. XTTS와 Tortoise 기술을 기반으로 하며 모듈 설계를 개선하여 효율적이고 고품질의 음성 합성을 제공합니다. indexTTS는 수만 시간의 데이터로 학습되었으며 중국어와 영어를 모두 지원하며 특히 중국어 시나리오에서 우수한 성능을 발휘합니다. 병음을 통해 잘못된 발음을 교정하고 말의 일시 중지를 제어합니다. 음질, 훈련 안정성 및 음색 유사성을 최적화했으며, XTTS 및 CosyVoice2와 같은 인기 있는 TTS 시스템보다 성능이 뛰어나다고 주장합니다. 전체 기능을 체험하려면 공식 이메일 주소로 문의하여 자세한 내용을 확인할 수 있습니다.

기능 목록

• 중국어 병음 입력을 지원하고 다의성 문자의 발음 오류를 수정합니다.
• 구두점으로 말하기 일시정지 위치 제어.
• BigVGAN2로 오디오 품질을 향상하세요.
• 컨포머 조건부 인코더를 통합하여 훈련 안정성과 음색 유사성을 높였습니다.
• 특정 음성을 사전 학습하지 않고도 생성할 수 있는 제로 샘플 음성 합성을 지원합니다.
• 중국어와 영어가 혼합된 텍스트를 처리합니다.

도움말 사용

설치 방법

IndexTTS는 현재 GitHub의 오픈 소스 프로젝트이지만 직접 설치 프로그램이나 온라인 서비스는 공식적으로 제공되지 않습니다. 사용하려면 직접 환경을 구축해야 합니다. 설치 단계는 다음과 같습니다:

1. 환경 준비하기
   • 컴퓨터에 Python 3.8 이상이 설치되어 있는지 확인합니다.
   • 코드 다운로드를 위해 Git을 설치합니다.
   • 처리 속도를 높이려면 GPU 지원(예: NVIDIA 그래픽 카드)이 필요하며 CUDA를 설치하는 것이 좋습니다.
2. 코드 다운로드
   터미널이나 명령줄에 입력합니다:

git clone https://github.com/index-tts/index-tts.git

그러면 로컬로 IndexTTS 코드가 다운로드됩니다.

3. 종속성 설치

• 프로젝트 폴더로 이동합니다:

  cd index-tts
  

• 필요한 라이브러리를 설치합니다. 특정 공식 <code>requirements.txt</code> 파일에 파이토치, 넘파이, 토르차디오와 같은 일반적인 TTS 종속 요소를 설치하는 것이 좋습니다:

  pip install torch torchaudio numpy
  

• 특정 종속성이 있는 경우 코드에서 가져오기 문을 참조하여 수동으로 설치해야 합니다.

4. 사전 학습된 모델 확보

• IndexTTS 사전 교육 모델은 직접 오픈 소스가 아닙니다. 이메일로 문의하셔야 합니다. <code>xuanwu@bilibili.com</code> 모델 파일을 가져옵니다.
• 모델을 받은 후 파일을 프로젝트 디렉토리에 넣습니다(정확한 경로는 공식 답장을 참조하세요).

5. 프로젝트 실행

• 모델이 제자리에 있다고 가정하고 메인 스크립트를 실행합니다(파일 이름은 <code>main.py</code> (또는 유사한 이름, 확인을 위해 코드 확인 필요):

  python main.py
  

• 매개변수 요구 사항(예: 입력 텍스트 또는 구성 파일)이 있는 경우 공식 문서에 따라 명령을 조정해야 합니다.

주요 기능 사용 방법

설치 후 IndexTTS의 핵심 기능은 음성을 생성하는 것입니다. 작동 방법은 다음과 같습니다:

음성 생성

• 입력 텍스트
  코드에서 텍스트 입력 섹션을 찾습니다(스크립트 매개변수 또는 인터페이스 입력일 수 있음). 예를 들어

python main.py --text "你好，这是测试文本。"

입력 텍스트는 중국어, 영어 또는 혼합 콘텐츠로 입력할 수 있습니다.

병음 교정 발음

• 다의성 문자에 문제가 발생하면 병음을 직접 입력하세요. 예를 들어

python main.py --text "xing2 hang2"  # 纠正为“银行”而不是“星航”

• 시스템은 병음에 따라 정확하게 발음된 음성을 생성합니다.

제어 중지

• 텍스트에 구두점을 추가하면 IndexTTS가 자동으로 이를 인식하고 일시 정지를 조정합니다. 예시:

python main.py --text "你好，世界。这是一个测试。"

• "," 및 "." 를 사용하면 실제 말하기의 리듬을 모방하여 음성이 자연스럽게 멈출 수 있습니다.

오디오 출력

• 생성된 음성은 일반적으로 WAV 파일로 저장됩니다. 실행 후 프로젝트 디렉토리를 확인하면 다음과 같은 내용이 있을 수 있습니다. <code>output.wav</code> 문서에 추가합니다.
• 플레이어로 파일을 열거나 코드에서 출력 경로를 지정할 수 있습니다:

python main.py --text "测试" --output "my_audio.wav"

주요 기능 작동 절차

제로 샘플 음성 합성

• IndexTTS는 제로 샘플 합성을 지원하며 훈련되지 않은 소리를 모방할 수 있습니다.
• 사용 방법: 참조 오디오를 제공합니다(형식은 보통 WAV). 코드가 이를 지원한다고 가정합니다:

python main.py --text "hello" --ref_audio "reference.wav"

• 시스템은 레퍼런스 오디오의 음색을 분석하여 유사한 사운드를 생성합니다.

고품질 오디오 출력

• IndexTTS는 BigVGAN2의 음질에 최적화되어 있습니다. 추가 설정이 필요하지 않으며, 모델이 올바르게 로드되어 있는 한 출력 오디오는 일반 TTS보다 훨씬 선명합니다.
• 하드웨어가 GPU 가속을 지원하는지 확인하세요. 그렇지 않으면 처리 속도가 느려집니다.

주의

• 실행 시 오류가 보고되면 PyTorch가 GPU와 호환되는지 확인하세요.
• 공식 문서가 불완전할 수 있으므로 다음을 확인하는 것이 좋습니다. <code>README.md</code> 또는 코드 주석.
• 매개변수를 보다 심층적으로 조정하려면 Conformer 및 BigVGAN2의 구성을 공부할 수 있습니다(프로그래밍 및 TTS 원리에 대한 지식이 필요함).

애플리케이션 시나리오

1. 교육 보조 자료
   교사는 IndexTTS를 사용하여 텍스트를 음성으로 변환하여 학생들의 듣기 연습을 도울 수 있습니다. 병음 교정 기능으로 정확한 발음도 가르칠 수 있습니다.
2. 콘텐츠 제작
   앵커 또는 UP 소유자는 특히 중국어와 영어를 혼합해야 하는 동영상 콘텐츠의 음성 해설을 생성하는 데 이 기능을 사용할 수 있습니다.
3. 음성 어시스턴트 개발
   개발자는 IndexTTS를 사용하여 실제 사람의 목소리를 모방하고 자연스러운 대화 경험을 제공하는 지능형 고객 서비스를 만들 수 있습니다.
4. 언어 학습
   학생들은 단어나 문장을 음성으로 변환하고 반복해서 듣고 따라하면서 발음을 연습할 수 있습니다.

QA

1. IndexTTS는 어떤 언어를 지원하나요?
   주로 중국어와 영어를 지원하며 혼합 텍스트를 처리할 수 있습니다. 다른 언어 지원 여부는 알려지지 않았으며 테스트가 필요합니다.
2. 전체 기능을 사용하려면 어떻게 해야 하나요?
   메일 연락처 필수 <code>xuanwu@bilibili.com</code>를 클릭하고 사전 학습된 모델과 자세한 설명을 확인하세요.
3. 이 프로그램을 실행하려면 어느 정도의 컴퓨터 성능이 필요한가요?
   GPU(예: NVIDIA 그래픽 카드)가 권장되며, CPU도 실행되지만 속도가 느립니다. 최소 8GB의 RAM.
4. 무료인가요?
   코드는 오픈 소스이며 무료이지만 상업적 사용은 제한될 수 있으므로 관계자에게 문의해야 합니다.