Productos interactivos multimodales en tiempo real

Introducción Xiaozhi AI Chatbot es un proyecto de código abierto basado en la placa de desarrollo ESP32, diseñado para ayudar a los usuarios a construir su propio compañero de chat de IA. El proyecto fue desarrollado por Shrimp y se utiliza principalmente con fines didácticos para ayudar a más personas a iniciarse en el desarrollo de hardware de IA y entender cómo aplicar grandes modelos de lenguaje a...

Introducción general xiaozhi-esp32-server es una herramienta que proporciona un servicio backend para el chatbot Xiaozhi AI (xiaozhi-esp32). Está escrito en Python y basado en el protocolo WebSocket para ayudar a los usuarios...

Introducción general VITA es un proyecto líder de modelado de grandes lenguajes multimodales interactivos de código abierto, pionero en la capacidad de lograr una verdadera interacción multimodal completa. El proyecto lanzó VITA-1.0 en agosto de 2024, siendo pionero en el primer gran modelo de lenguaje interactivo completamente modal de código abierto.2024...

Introducción completa Step-Audio es un marco de interacción del habla inteligente de código abierto diseñado para proporcionar capacidades de comprensión y generación del habla listas para usar en entornos de producción. El marco admite conversaciones en varios idiomas (por ejemplo, chino, inglés, japonés), habla emocional (por ejemplo, feliz, triste), dialectos regionales (por ejemplo, cantonés, szechuan ...

Introducción Bailing (Bailing) es un asistente de diálogo por voz de código abierto diseñado para entablar un diálogo natural con los usuarios a través del habla. El proyecto combina tecnologías de reconocimiento del habla (ASR), detección de la actividad de la voz (VAD), modelado amplio del lenguaje (LLM) y síntesis del habla (TTS) para lograr...

Introducción exhaustiva DeepSeek-VL2 es una serie de modelos avanzados de lenguaje visual Mixture-of-Experts (MoE) que mejoran significativamente el rendimiento de su predecesor, DeepSeek-VL. Los modelos son útiles en preguntas y respuestas visuales, reconocimiento óptico de caracteres,...

Introducción general OpenAvatarChat es un proyecto de código abierto desarrollado por el equipo HumanAIGC-Engineering y alojado en GitHub. Es una herramienta modular de diálogo humano digital que permite a los usuarios ejecutar en un solo PC...

Introducción exhaustiva Fish Speech Derivative Project Fish Agent es un revolucionario sistema de clonación del habla AI de extremo a extremo desarrollado en base a la arquitectura modelo V0.1 3B. Como sistema de procesamiento de clonación del habla de extremo a extremo, su característica más importante es el uso de...

Introducción completa Always-On AI Assistant es un innovador proyecto de asistente de IA que crea un potente sistema de asistente de IA permanentemente en línea mediante la integración de tecnologías avanzadas como Deepseek-V3, RealtimeSTT y Typer...

Introducción completa Baichuan-Audio es un proyecto de código abierto desarrollado por Baichuan Intelligence (baichuan-inc), alojado en GitHub, centrado en la tecnología de interacción de voz de extremo a extremo. El proyecto proporciona un marco completo de procesamiento de audio que permite ...

Introducción general Qwen2.5-Omni es un modelo de IA multimodal de código abierto desarrollado por el equipo Qwen de Alibaba Cloud. Puede procesar múltiples entradas, como texto, imágenes, audio y vídeo, y generar respuestas de texto o habla natural en tiempo real. El modelo se lanzó en 2025 el 3 ...

Introducción general Gemini Cursor es un asistente inteligente de escritorio basado en el modelo Gemini 2.0 Flash (experimental) de Google. Permite interacciones visuales, auditivas y de voz a través de una API multimodal, proporcionando un uso en tiempo real de baja latencia....

Introducción general Ichigo es un proyecto de IA de voz en tiempo real de código abierto que pretende ampliar los modelos de lenguaje basados en texto con capacidades de "escucha" nativa. El proyecto utiliza técnicas de fusión temprana inspiradas en el documento Chameleon de Meta.El objetivo de Ichigo es convertirse...

Introducción general RealtimeVoiceChat es un proyecto de código abierto centrado en conversaciones naturales y en tiempo real con inteligencia artificial a través de la voz. Los usuarios utilizan un micrófono para introducir su voz, y el sistema captura el audio a través de un navegador, lo convierte rápidamente en texto, y un gran modelo de lenguaje (LLM) genera de nuevo...

Introducción general VideoMind es una herramienta de IA multimodal de código abierto centrada en la inferencia, las preguntas y respuestas y la generación de resúmenes para vídeos largos. Fue desarrollada por Ye Liu, de la Universidad Politécnica de Hong Kong, y un equipo del Show Lab de la Universidad Nacional de Singapur. La herramienta imita la comprensión humana del vídeo...

TransRouter es una herramienta de traducción de voz en tiempo real basada en el modelo Gemini de Google, diseñada específicamente para la traducción de voz en tiempo real entre inglés y chino. La herramienta se integra perfectamente en software de videoconferencia como Zoom, proporcionando una potente herramienta para la traducción...

Introducción general Weebo es un chatbot de voz en tiempo real de código abierto que utiliza Whisper Small para el reconocimiento de voz, Llama 3.2 para la generación de lenguaje natural y Kokoro-82M para la síntesis de voz. El proyecto fue desarrollado por Aman...

Introducción general OmAgent es un marco de cuerpo inteligente multimodal desarrollado por Om AI Lab, con el objetivo de proporcionar potentes funciones impulsadas por IA para dispositivos inteligentes. Mediante la integración de modelos base multimodales de última generación y algoritmos de cuerpo inteligente, el proyecto permite a los desarrolladores crear dispositivos inteligentes eficientes en una variedad de...

Introducción general AI Web Operator es una herramienta de código abierto AI navegador operador diseñado para simplificar la experiencia del usuario en el navegador mediante la integración de múltiples tecnologías de IA y SDKs. La herramienta se basa en Browserbase y Vercel....

Introducción general MoshiVis es un proyecto de código abierto desarrollado por Kyutai Labs y alojado en GitHub. Se basa en el modelo de voz a texto Moshi (7B parámetros), con cerca de 206 millones de nuevos parámetros de adaptación y Pal...

SpeechGPT 2.0-preview es el primer sistema antropomórfico de interacción en tiempo real introducido por OpenMOSS, que se entrena basándose en millones de horas de datos de habla. El sistema está equipado con una expresión hablada antropomórfica y una respuesta de baja latencia de 100 ms, lo que...

Introducción general BrownChat es una aplicación de chat de audio en tiempo real basada en la tecnología LLM (Large Language Modelling). Desarrollado por el usuario de GitHub sugarforever, el proyecto pretende mejorar la experiencia de comunicación del usuario mediante tecnología avanzada de procesamiento del lenguaje natural.B...

Stepsailor es una herramienta para desarrolladores cuyo núcleo es una barra de comandos de inteligencia artificial. Los desarrolladores pueden utilizarla para que sus productos de software entiendan lo que dice el usuario, como "añadir nueva tarea", y el software la ejecutará automáticamente. Se integra a través de un sencillo SDK en...

Introducción general PowerAgents es una plataforma de inteligencias IA centrada en tareas de automatización web, que permite a los usuarios crear y desplegar inteligencias IA capaces de hacer clic, introducir y extraer datos. La plataforma admite la configuración de tareas para que se ejecuten automáticamente cada hora, día o semana, y los usuarios también pueden ver en tiempo real...

Introducción General OpenAI Realtime Agents es un proyecto de código abierto que tiene como objetivo mostrar cómo la API en tiempo real de OpenAI se puede utilizar para construir aplicaciones de voz corporal multi-inteligente. Proporciona un modelo de cuerpo inteligente de alto nivel (tomado de OpenAI Swarm) que permite...

Introducción exhaustiva Infini-Megrez es una solución de inteligencia de borde desarrollada por la cúpula central incuestionable (Infinigence AI), cuyo objetivo es lograr una comprensión y un análisis multimodales eficientes mediante el codiseño de hardware y software. El núcleo del proyecto es el modelo Megrez-3B, que soporta grafos...

Introducción completa OpenAI Realtime API Next.js es un proyecto de código abierto basado en el framework Next.js , diseñado para ayudar a los desarrolladores a crear rápidamente aplicaciones de IA de voz en tiempo real . El proyecto integra la API en tiempo real de OpenAI y la tecnología WebRTC....