OpenAI WebRTC Python: una biblioteca Python para la interacción por voz con las API en tiempo real de OpenAI

Introducción general

OpenAI Realtime WebRTC Python es una biblioteca profesional de Python que proporciona a los desarrolladores una solución completa para la interacción de voz con la API OpenAI Realtime. El proyecto se basa en la tecnología WebRTC, que permite capacidades de transmisión de audio en tiempo real de baja latencia. No sólo admite la gestión automática de dispositivos de audio y la conversión de frecuencias de muestreo, sino que también proporciona un mecanismo de gestión de búferes de audio. El proyecto es de código abierto bajo licencia MIT y es compatible con múltiples plataformas de sistemas operativos como Windows, macOS y Linux. A través de la biblioteca , los desarrolladores pueden implementar fácilmente el reconocimiento de voz en tiempo real , procesamiento de flujo de audio y otras características avanzadas , especialmente adecuado para la construcción de aplicaciones que requieren la interacción de voz en tiempo real .

Lista de funciones

• Comunicación de audio en tiempo real de baja latencia basada en WebRTC
• Compatibilidad con la última interfaz API en tiempo real de OpenAI
• Gestión y configuración automáticas de dispositivos de audio inteligentes
• Conversión adaptativa de la frecuencia de muestreo de audio
• Sistema profesional de gestión de búferes de audio
• Control de pausa y reanudación de flujos de audio
• Procesamiento de audio asíncrono y mecanismo de devolución de eventos
• Función integrada de audio a texto

Utilizar la ayuda

Preparación medioambiental

1. requisitos del sistema
   • Python 3.7 o superior
   • Compatible con los sistemas operativos Windows, macOS y Linux
   • Asegúrese de que el sistema dispone de equipo de audio
2. proceso de instalación

   # 克隆项目代码
   git clone https://github.com/realtime-ai/openai-realtime-webrtc-python.git
   cd openai-realtime-webrtc-python
   # 创建并激活虚拟环境
   python -m venv venv
   source venv/bin/activate  # Linux/macOS系统
   # 或在Windows系统使用：
   # .\venv\Scripts\activate
   # 安装依赖包
   pip install -r requirements.txt
   # 开发模式安装
   pip install -e .
   

Ajustes de configuración

1. Configuración de variables de entorno
   • En el directorio raíz del proyecto, cree el archivo.envpapeles
   • Añade la clave API de OpenAI:

   OPENAI_API_KEY=your-api-key-here
   

Proceso básico de utilización

1. Creación de una instancia cliente

   import asyncio
   from openai_realtime_webrtc import OpenAIWebRTCClient
   async def main():
   client = OpenAIWebRTCClient(
   api_key="your-api-key",
   model="gpt-4o-realtime-preview-2024-12-17"
   )
   

2. Configuración de la función de devolución de llamada

   def on_transcription(text: str):
   print(f"转录文本: {text}")
   client.on_transcription = on_transcription
   

3. Iniciar la transmisión de audio

   try:
   # 开始音频流传输
   await client.start_streaming()
   # 保持连接运行
   while True:
   await asyncio.sleep(1)
   except KeyboardInterrupt:
   # 终止音频流
   await client.stop_streaming()
   

Uso de funciones avanzadas

1. Gestión de dispositivos de audio
   • El sistema detecta y gestiona automáticamente los dispositivos de entrada de audio disponibles
   • Conmutación dinámica de dispositivos de audio
   • Gestión automática de la conversión de frecuencia de muestreo
2. control de flujo de audio
   • Permite pausar/reanudar la transmisión de audio en cualquier momento
   • Gestiona el búfer de audio
   • Gestión automática de la latencia y las fluctuaciones de la red
3. Gestión y control de errores
   • Mecanismos integrados de detección de errores y gestión de excepciones
   • Admite la supervisión de la calidad de audio
   • Proporcionar información de depuración detallada

advertencia

• Garantizar una conectividad de red estable
• Compruebe periódicamente la validez de la clave API
• Controla el estado de tus dispositivos de audio.
• Control razonable de los tiempos de inicio y parada del flujo de audio