TEN 에이전트: 지능형 바디와의 지연 없는 음성 및 영상 대화를 지원하는 실시간 멀티모달 지능형 바디 프레임워크입니다.

2.6K 00

일반 소개

TEN 에이전트는 오픈소스 실시간 멀티모달 인텔리전스 프레임워크로, OpenAI 실시간 API와 RTC를 통합하여 날씨 조회, 웹 검색, 시각 처리 및 RAG(검색 증강 생성) 등의 다양한 기능을 지원합니다. 이 프레임워크는 복잡한 AI 애플리케이션 시나리오를 위한 고성능, 저지연 오디오 및 비디오 인터랙션 솔루션을 제공하는 것을 목표로 합니다.

지금까지 두 번째로 성숙한 실시간 대화형 복합 인텔리전스는 매우 원활한 음성 커뮤니케이션 프로세스를 갖추고 있습니다.

온라인 체험: https://agent.theten.ai/

기능 목록

실시간 멀티모달 상호작용오디오, 비디오 및 텍스트의 실시간 처리 및 상호 작용을 지원합니다.
OpenAI 실시간 API 통합지연 시간이 짧은 음성 대 음성 대화 기능을 제공합니다.
RTC AI 노이즈 억제AI 알고리즘을 통한 노이즈 제거로 오디오 품질을 개선합니다.
날씨 문의날씨 조회 기능을 통합하여 실시간 날씨 정보를 제공합니다.
인터넷 검색웹 검색을 통한 정보 액세스를 지원합니다.
시각적 처리이미지 인식 및 처리 기능을 지원합니다.
RAG 기능검색 강화 생성 기술을 통해 로컬 문서를 사용하여 답변을 제공하세요.
다국어 지원C++, Go, Python 등 여러 프로그래밍 언어로 확장된 개발을 지원합니다.
크로스 플랫폼 지원Windows, Mac, Linux 및 모바일 장치와 호환됩니다.

도움말 사용

설치 프로세스

환경 준비하기::
- Docker 및 Docker Compose가 설치되어 있는지 확인합니다.
- 아고라 앱 ID와 앱 인증서를 받습니다(아고라 콘솔에서 인증서가 활성화된 경우).
- OpenAI API 키와 Deepgram ASR 및 FishAudio TTS용 API 키를 받으세요.
환경 변수 구성::
- 프로젝트 루트 디렉토리에서cp .env.example .env명령을 사용하여.env문서화.
- 쇼(티켓).env파일에 필요한 API 키와 구성을 추가합니다.
컨테이너 시작::
- 프로젝트 루트 디렉터리에서 실행하세요.docker compose up명령을 사용하여 컨테이너를 시작합니다.
- 또는docker compose up -d명령을 사용하여 컨테이너를 분리 모드로 시작합니다.
인텔리전스 구축::
- 새 터미널 창을 열고 컨테이너에 들어가서 인텔리전스를 구축하세요.
- 빌드가 완료되면 포트 8080에서 서버를 실행합니다:make run-server.
액세스 인터페이스::
- 브라우저에서 열기localhost:3000TEN 에이전트는 향후 처음으로 사용될 예정입니다.
- 다른 탭을 열고 다음 사이트를 방문하세요.localhost:3001를 클릭하고 그래프 디자이너를 사용하여 확장 프로그램을 만들고, 연결하고, 편집하세요.

기능 작동 가이드

실시간 멀티모달 상호작용::
- 통합 OpenAI 실시간 API를 통해 지연 시간이 짧은 음성 대 음성 대화가 가능합니다.
- RTC의 AI 노이즈 억제 기능을 사용하여 선명하고 안정적인 오디오 품질을 보장하세요.
날씨 문의::
- 인터페이스에 검색하려는 도시의 이름을 입력하면 실시간 날씨 정보를 확인할 수 있습니다.
인터넷 검색::
- 검색창에 키워드를 입력하면 시스템이 웹을 검색하여 관련 정보를 가져옵니다.
시각적 처리::
- 이미지 파일을 업로드하면 시스템이 자동으로 이미지 인식 및 처리를 수행합니다.
RAG 기능::
- 검색 강화 생성 기술을 통해 질문을 입력하면 시스템이 로컬 문서를 사용하여 답변을 제공합니다.
다국어 지원::
- C++, Go, Python 및 기타 프로그래밍 언어를 사용하여 확장된 개발을 지원합니다.
크로스 플랫폼 지원::
- Windows, Mac, Linux 및 모바일 장치와 호환되므로 사용자는 다양한 플랫폼에서 TEN 에이전트를 원활하게 사용할 수 있습니다.