TransRouter: Gemini 멀티모달 모델을 기반으로 중국어에서 영어로 번역하는 실시간 오디오 변환 도구

12.7K 00

일반 소개

TransRouter는 Google 쌍둥이자리 TransRouter는 영어와 중국어 간의 실시간 음성 번역을 위해 특별히 설계된 대형 모델용 실시간 음성 번역 툴입니다. Zoom과 같은 화상 회의 소프트웨어에 원활하게 통합되는 TransRouter는 스트리밍 처리 기술을 사용하여 번역 프로세스의 지연 시간을 단축하고 자동 음성 합성 기능을 제공합니다. 이 시스템은 오디오 신호를 실시간으로 처리할 수 있을 뿐만 아니라 후속 검토 및 녹음을 위해 원본 녹음과 합성된 오디오를 자동으로 저장할 수도 있습니다. 이 프로젝트는 파이썬으로 개발된 완전 오픈 소스이며 확장성과 사용자 지정 기능이 뛰어납니다.

기능 목록

중국어와 영어 간 양방향 실시간 음성 번역 실현
Zoom과 같은 주요 회의 소프트웨어와의 원활한 통합 지원
구글 제미니 매크로 모델을 사용한 고품질 번역
지연 시간이 짧은 스트리밍 오디오 처리 제공
자동 음성 합성 출력
원본 녹음 및 번역된 오디오의 자동 저장 지원
완벽한 로깅 시스템 제공
가상 오디오 장치 라우팅 지원
구성 가능한 오디오 입력 및 출력 매개변수

도움말 사용

시스템 환경 준비

기본 환경 요구 사항:
- Python 3.8 이상
- macOS 운영 체제
- 안정적인 네트워크 연결
- Google 인터넷 회사 Gemini API 키
오디오 장치 구성:
- BlackHole 가상 오디오 장치를 설치합니다:
```
brew install blackhole-2ch
```
- 시스템 환경설정에서 오디오 장치를 구성합니다:
  - "시스템 환경설정 > 사운드"를 엽니다.
  - 블랙홀 2채널 장치가 올바르게 식별되었는지 확인합니다.
  - 기본 입력 및 출력 장치 구성

설치 단계

프로젝트 웨어하우스 복제:

git clone https://github.com/notedit/TransRouter.git
cd TransRouter

가상 환경을 만들고 활성화합니다:

python -m venv venv
source venv/bin/activate  # macOS

종속성 패키지를 설치합니다:
```
pip install -r requirements.txt
```
환경 변수를 구성합니다:
- 복사본 만들기 .env.example 파일은 .env
- 존재 .env 파일을 설정하여 Gemini API 키를 설정합니다:
```
GEMINI_API_KEY=your_gemini_api_key
```

Zoom 구성 가이드

Zoom 설정 패널을 엽니다.
오디오 설정 옵션으로 이동합니다.
마이크를 시스템 기본 장치로 설정하기
스피커를 "블랙홀 2채널"로 설정합니다.

사용 지침

절차를 시작합니다:
```
python transrouter.py
```
프로그램이 자동으로 실행됩니다:
- 오디오 장치 초기화하기
- Google Gemini에 연결 설정하기
- 오디오 캡처 및 처리 시작
문서 관리:
- 녹음 파일은 recordings 디렉토리(컴퓨터 하드 드라이브에 있음)
- 합성된 번역된 오디오는 synthesis 디렉토리(컴퓨터 하드 드라이브에 있음)
- 런타임 로그는 logs 디렉토리(컴퓨터 하드 드라이브에 있음)
운영 제어:
- 프로그램이 실행되는 동안 실시간 상태 정보가 표시됩니다.
- 프로그램을 안전하게 종료하려면 Ctrl+C를 누르세요.
- 중지 시 모든 오디오 파일 자동 저장

결함 해결

오디오 장비 문제:
- BlackHole이 올바르게 설치 및 구성되었는지 확인합니다.
- 시스템 오디오 설정에서 장치 식별 상태 확인하기
- Zoom의 오디오 설정 구성 확인하기
번역 문제:
- 안정적인 네트워크 연결 확인
- API 키가 올바르게 구성되었는지 확인합니다.
- 로그 파일에서 자세한 오류 메시지 보기