KrillinAI: 원클릭 번역 및 더빙이 가능한 동영상용 다국어 글로벌라이제이션 도구

1.5K 00

일반 소개

크릴린AI는 인공 지능을 사용하여 사용자가 동영상을 번역하고 자동으로 더빙하는 데 중점을 둔 오픈 소스 동영상 처리 도구입니다. 동영상 다운로드부터 시작하여 몇 번의 클릭만으로 다양한 플랫폼에 맞는 완제품을 계속 생성할 수 있습니다. 개발자는 깃허브에서 코드를 무료로 공개하여 사용자가 다운로드하여 로컬에서 실행할 수 있습니다. KrillinAI는 대규모 언어 모델링(LLM) 기술을 사용하여 고품질 번역 및 자막 생성을 제공하며 현재 중국어, 영어, 일본어 등 56개 언어에 대한 번역을 지원합니다. 또한 동영상 형식을 조정하고 YouTube, TikTok, Jieyin 등의 플랫폼에 맞게 조정할 수 있어 콘텐츠 제작자가 다국어 동영상을 빠르게 제작하는 데 적합합니다.

기능 목록

동영상 다운로드 및 업로드유튜브, 지터버그, 빌리빌리에서 동영상을 다운로드하거나 로컬 파일을 업로드할 수 있습니다.
정확한 자막 생성사용 Whisper 이 기술은 음성을 인식하여 매우 정확한 자막을 생성합니다.
지능형 자막 분할자막 분할은 대규모 언어 모델을 통해 의미적 무결성을 그대로 유지하면서 자연스럽게 이루어집니다.
전문 번역문맥의 일관성과 인간에 가까운 수준을 보장하기 위해 전체 단락을 번역합니다.
더빙 및 음성 복제: 제공 CosyVoice 의 남성 및 여성 더빙을 업로드하거나 음성 클론을 업로드할 수 있습니다.
동영상 형식 조정다양한 플랫폼에 맞게 가로 또는 세로로 동영상을 자동으로 생성합니다.
용어 교체전문 분야의 어휘를 원클릭으로 교체할 수 있도록 지원합니다.

도움말 사용

설치 프로세스

크릴린AI를 실행하려면 로컬에 설치해야 하며, 자세한 단계는 다음과 같습니다:

파일 다운로드
- https://github.com/krillinai/KrillinAI 을 엽니다.
- 페이지 오른쪽 상단의 '릴리즈'를 클릭하여 사용 중인 시스템(예: Windows, macOS)에 적합한 버전을 다운로드합니다.
- 파일을 빈 폴더에 압축을 풉니다.
구성 환경
- 내에 폴더를 만듭니다. config 폴더.
- 존재 config 에 새 폴더를 만듭니다. config.toml 문서화.
- GitHub의 config-example.toml 콘텐츠를 다음 주소로 복사합니다. config.toml를 클릭한 다음 구성을 입력합니다.
- 가장 간단한 구성: OpenAI 서비스만 사용하고 다음을 입력합니다:
```
[openai]
apikey = "你的OpenAI API密钥"
transcription_provider = "openai"
llm_provider = "openai"
```
- 프록시 또는 사용자 지정 모델이 필요한 경우 다음을 추가합니다. app.proxy 어쩌면 openai.base_url.
실행 중인 프로그램
- Windows(컴퓨터)실행 파일을 두 번 클릭하여 시작합니다.
- macOS서명되지 않으므로 수동 트러스트가 필요합니다:
  - 터미널을 열고 파일 디렉토리로 이동합니다.
  - 명령을 입력합니다:
```
sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
./KrillinAI_1.0.0_macOS_arm64
```
- 시작 후 서비스는 다음에서 실행됩니다. http://127.0.0.1:8888(포트 변경 가능).
Docker 배포(선택 사항)
- GitHub의 docs/docker.md 자세한 단계를 확인하세요.
- Docker를 설치하고 이미지를 가져와 실행합니다.

주요 기능의 작동

동영상 번역 및 자막 생성

이동::
1. 서비스를 시작한 후 브라우저는 다음을 수행합니다. http://127.0.0.1:8888.
2. 동영상 링크를 입력합니다(예 https://www.youtube.com/watch?v=xxx)를 클릭하거나 파일을 업로드합니다.
3. 입력 언어(예: 중국어)와 대상 언어(예: 영어)를 선택합니다.
4. "시작"을 클릭하면 프로그램이 음성을 자동으로 인식하여 자막을 생성하고 번역합니다.
결국자막 파일은 tasks 폴더.
다음 사항에 유의하십시오.다운로드에 실패하면, 다운로드가 실패하면 cookies.txt나타나다(STH로) docs/get_cookies.md.

더빙 기능

이동::
1. 자막이 생성되면 '더빙' 옵션을 클릭합니다.
2. CosyVoice에 사용할 남성 또는 여성 목소리를 선택하거나 오디오 샘플을 업로드하여 목소리를 복제하세요.
3. '생성'을 클릭하면 프로그램이 자동으로 음성 해설을 합성합니다.
결국음성 해설과 동영상이 병합되어 새 파일이 생성됩니다.
특성화다국어 더빙이 지원되며 오디오 트랙과 자막이 정밀하게 정렬됩니다.

동영상 형식 조정

이동::
1. 동영상을 생성할 때 '가로' 또는 '세로'를 선택합니다.
2. "마침"을 클릭하면 프로그램이 해상도 및 자막 레이아웃을 조정합니다.
결국유튜브(가로) 또는 틱톡(세로)에 맞게 조정된 동영상을 출력합니다.
STH에 주목하세요.자막이 너무 길면 자막이 자동으로 줄을 변경하여 깔끔한 화면을 보장합니다.

주요 기능 작동

지능형 자막 분할

이 프로그램은 대규모 언어 모델을 사용하여 음성을 분석하고 의미론에 따라 자막을 분할합니다. 예를 들어 10초 분량의 대화는 고정된 시간 컷이 아닌 문장 무결성에 따라 세그먼트로 나뉩니다.
수동 설정이 필요하지 않으며 자동으로 처리됩니다.

용어 교체

이동::
1. 존재 config.toml 다음과 같은 대체 규칙을 추가합니다:
```
[custom_vocab]
"AI" = "人工智能"
"LLM" = "大语言模型"
```
2. 프로그램을 다시 시작하고 번역할 때 자동으로 교체합니다.
사용기술, 교육 등의 분야에 적합하며 정확한 용어 사용을 보장합니다.

사운드 복제

이동::
1. 보이스오버 화면에 10~30초 분량의 오디오 샘플을 업로드합니다.
2. '사운드 복제'를 선택하면 프로그램이 유사한 사운드를 생성합니다.
요청AliCloud 서비스를 사용하는 경우 다음을 구성해야 합니다. aliyun.oss나타나다(STH로) docs/aliyun.md.

추가 구성 옵션

로컬 모델: 설정 transcription_provider = "fasterwhisper"필수 필드 local_model.faster_whisper모델이 자동으로 다운로드됩니다(macOS는 아직 지원되지 않음).
알리클라우드 서비스알리클라우드의 대형 모델이나 더빙을 사용하는 경우, 다음과 같이 구성해야 합니다. aliyun.bailian 어쩌면 aliyun.speech.

애플리케이션 시나리오

다국어 콘텐츠 제작
- YouTube 블로거는 중국어 동영상을 영어와 프랑스어로 번역하고 싶어합니다. KrillinAI는 가로 형식의 자막과 음성 해설을 빠르게 생성합니다.
짧은 동영상 프로모션
- 판매자는 지터버그를 사용하여 제품을 홍보하고, 크릴린AI는 동영상을 현지 언어로 세로 화면으로 변환하여 호소력을 높입니다.
교육 리소스 공유
- 교사는 강의 비디오를 여러 언어로 번역하고 KrillinAI는 전 세계 학생들을 위해 정확한 자막과 음성 해설을 제공합니다.

QA

시작 시 API가 누락되는 이유는 무엇인가요?
- 에 있어야 합니다. config.toml OpenAI의 apikey자세한 내용은 OpenAI 웹사이트에서 확인하세요.
어떤 입력 언어가 지원되나요?
- 현재 중국어, 영어, 일본어, 독일어, 터키어를 지원하며 더 많은 언어가 개발 중입니다.
번역과 더빙에는 시간이 얼마나 걸리나요?
- 10분 분량의 동영상을 처리하는 데는 네트워크 및 구성에 따라 약 5~10분이 소요됩니다.
다운로드 실패를 해결하려면 어떻게 해야 하나요?
- 구성 cookies.txt참조 docs/get_cookies.md 브라우저 쿠키 내보내기.