검색 기반 음성 변환 웹UI: 검색 기반 음성 변환을 위한 프레임워크 | 실제 노래하는 목소리 시뮬레이션하기

일반 소개

검색 기반 음성 변환 웹UI는 간단하고 사용하기 쉬운 VITS 기반 음성 변환 프레임 워크로, 노래 커버 및 실시간 음성 변경을 포함하여 모든 스피커 간의 음성 변환을 실현할 수 있습니다. 짧은 지연 시간, 우수한 음성 변환 효과, 적은 양의 데이터 학습 등이 특징입니다. N 카드, A 카드, I 카드 가속을 지원하고 웹 인터페이스와 실시간 음성 변환 인터페이스를 제공하며 UVR5 모델을 호출하여 사람의 목소리와 백 보컬을 빠르게 분리하고 최첨단 보컬 피치 추출 알고리즘 RMVPE를 사용하여 음소거 된 목소리 문제를 제거 할 수도 있습니다.

코랩 온라인 경험

하단 모델은 저작권 문제 없이 약 50시간 분량의 오픈 소스 고품질 VCTK 트레이닝 세트를 사용하여 학습합니다.

더 큰 매개변수, 더 큰 데이터, 더 나은 결과, 본질적으로 동일한 추론 속도, 더 적은 학습 데이터를 필요로 하는 RVCv3의 하위 모델을 기대해 보세요.

교육 추론 인터페이스

실시간 음성 변경 인터페이스

기능 목록

• 최소 10분의 음성 데이터로 나만의 음성 변환 모델 훈련하기
• 사전 학습된 음성 변환 모델을 사용하여 다양한 샘플 속도와 톤을 지원합니다.
• 웹 인터페이스 또는 실시간 음성 변경 인터페이스를 사용한 음성 변환과 엔드 투 엔드 저지연 지원
• UVR5 모델링을 사용하여 보컬과 백킹 트랙을 분리하고, 여러 오디오 파일 형식을 지원합니다.
• RMVPE 알고리즘을 사용하여 보컬 피치 추출, 파이토치/onnx/DirectML 지원

도움말 사용

• 이 저장소를 다운로드 또는 복제하고 필요한 종속성 및 사전 모델을 설치하세요.
• go-web.bat 또는 go-realtime-gui.bat을 실행하고 수행하려는 작업을 선택합니다.
• 인터페이스 프롬프트에 따라 입력 및 출력 음성 파일 또는 장치를 선택하고 매개변수 및 옵션을 조정합니다.
• 시작 또는 중지를 클릭하고 음성 변환을 즐겨보세요!