OpenAI WebRTC Python : une bibliothèque Python pour l'interaction vocale avec les API temps réel de l'OpenAI

Introduction générale

OpenAI Realtime WebRTC Python est une bibliothèque Python professionnelle qui fournit aux développeurs une solution complète pour l'interaction vocale avec l'API OpenAI Realtime. Le projet est basé sur la technologie WebRTC, qui permet des capacités de transmission audio en temps réel à faible latence. Il prend non seulement en charge la gestion automatique des périphériques audio et la conversion de la fréquence d'échantillonnage, mais fournit également un mécanisme de gestion de la mémoire tampon audio. Le projet est open source sous la licence MIT et prend en charge plusieurs plateformes de systèmes d'exploitation tels que Windows, macOS et Linux. Grâce à cette bibliothèque, les développeurs peuvent facilement mettre en œuvre la reconnaissance vocale en temps réel, le traitement des flux audio et d'autres fonctions avancées, particulièrement adaptées à la création d'applications nécessitant une interaction vocale en temps réel.

Liste des fonctions

• Communication audio en temps réel à faible latence basée sur WebRTC
• Prise en charge de la dernière interface API temps réel d'OpenAI
• Gestion et configuration automatiques des appareils audio intelligents
• Conversion adaptative de la fréquence d'échantillonnage audio
• Système professionnel de gestion des tampons audio
• Prise en charge du contrôle de la pause et de la reprise des flux audio
• Traitement audio asynchrone et mécanisme de rappel des événements
• Fonction de conversion audio/texte intégrée

Utiliser l'aide

Préparation de l'environnement

1. exigences du système
   • Python 3.7 ou supérieur
   • Prise en charge des systèmes d'exploitation Windows, macOS et Linux
   • S'assurer que le système dispose d'un équipement audio
2. processus d'installation

   # 克隆项目代码
   git clone https://github.com/realtime-ai/openai-realtime-webrtc-python.git
   cd openai-realtime-webrtc-python
   # 创建并激活虚拟环境
   python -m venv venv
   source venv/bin/activate  # Linux/macOS系统
   # 或在Windows系统使用：
   # .\venv\Scripts\activate
   # 安装依赖包
   pip install -r requirements.txt
   # 开发模式安装
   pip install -e .
   

Paramètres de configuration

1. Configuration des variables d'environnement
   • Dans le répertoire racine du projet, créez le fichier.envpapiers
   • Ajouter la clé API OpenAI :

   OPENAI_API_KEY=your-api-key-here
   

Processus d'utilisation de base

1. Création d'une instance de client

   import asyncio
   from openai_realtime_webrtc import OpenAIWebRTCClient
   async def main():
   client = OpenAIWebRTCClient(
   api_key="your-api-key",
   model="gpt-4o-realtime-preview-2024-12-17"
   )
   

2. Définition de la fonction de rappel

   def on_transcription(text: str):
   print(f"转录文本: {text}")
   client.on_transcription = on_transcription
   

3. Démarrer la diffusion audio

   try:
   # 开始音频流传输
   await client.start_streaming()
   # 保持连接运行
   while True:
   await asyncio.sleep(1)
   except KeyboardInterrupt:
   # 终止音频流
   await client.stop_streaming()
   

Utilisation des fonctions avancées

1. Gestion des périphériques audio
   • Le système détecte et gère automatiquement les périphériques d'entrée audio disponibles
   • Prise en charge de la commutation dynamique des dispositifs audio
   • Traitement automatique de la conversion de la fréquence d'échantillonnage
2. contrôle du flux audio
   • Prise en charge de la mise en pause et de la reprise de la diffusion audio à tout moment
   • Gestion de la mémoire tampon audio
   • Traitement automatique de la latence et de la gigue du réseau
3. Traitement et suivi des erreurs
   • Mécanismes intégrés de détection des erreurs et de traitement des exceptions
   • Prise en charge du contrôle de la qualité audio
   • Fournir des informations de débogage détaillées

mise en garde

• Assurer une connectivité stable du réseau
• Vérifier périodiquement la validité de la clé API
• Contrôlez l'état de vos appareils audio.
• Contrôle raisonnable de la synchronisation du démarrage et de l'arrêt du flux audio