Produits multimodaux interactifs en temps réel

Introduction générale RealtimeVoiceChat est un projet open source axé sur les conversations naturelles en temps réel avec l'intelligence artificielle par le biais de la voix. Les utilisateurs utilisent un microphone pour saisir leur voix, et le système capture l'audio via un navigateur, le convertit rapidement en texte, et un grand modèle de langage (LLM) génère...

Stepsailor est un outil destiné aux développeurs, dont le cœur est une barre de commande IA. Les développeurs peuvent l'utiliser pour que leurs logiciels comprennent ce que dit l'utilisateur, par exemple "ajouter une nouvelle tâche", et le logiciel l'exécutera automatiquement. Il est intégré via un simple SDK dans...

Introduction générale OpenAvatarChat est un projet open source développé par l'équipe HumanAIGC-Engineering et hébergé sur GitHub. Il s'agit d'un outil modulaire de dialogue humain numérique qui permet aux utilisateurs de fonctionner sur un seul PC...

Introduction générale VideoMind est un outil d'IA multimodale open source qui se concentre sur l'inférence, les questions-réponses et la génération de résumés pour les vidéos de longue durée. Il a été développé par Ye Liu de l'Université polytechnique de Hong Kong et une équipe du Show Lab de l'Université nationale de Singapour. L'outil imite la compréhension humaine des vidéos...

Introduction générale MoshiVis est un projet open source développé par Kyutai Labs et hébergé sur GitHub. Il est basé sur le modèle de synthèse vocale Moshi (7B paramètres), avec environ 206 millions de nouveaux paramètres d'adaptation et Pal...

Introduction détaillée Qwen2.5-Omni est un modèle d'IA multimodale open source développé par l'équipe Qwen d'Alibaba Cloud. Il peut traiter de multiples entrées telles que du texte, des images, de l'audio et de la vidéo, et générer des réponses textuelles ou vocales naturelles en temps réel. Le modèle a été lancé en 2025, le 3 ...

Introduction générale xiaozhi-esp32-server est un outil qui fournit un service de backend pour le chatbot Xiaozhi AI (xiaozhi-esp32). Il est écrit en Python et basé sur le protocole WebSocket pour aider les utilisateurs à...

Introduction complète Baichuan-Audio est un projet open source développé par Baichuan Intelligence (baichuan-inc), hébergé sur GitHub, qui se concentre sur la technologie d'interaction vocale de bout en bout. Le projet fournit un cadre de traitement audio complet qui permet de ...

Introduction générale PowerAgents est une plateforme d'intelligence artificielle axée sur les tâches d'automatisation du Web, qui permet aux utilisateurs de créer et de déployer des intelligences intelligentes capables de cliquer, de saisir et d'extraire des données. La plateforme permet de définir des tâches à exécuter automatiquement toutes les heures, tous les jours ou toutes les semaines, et les utilisateurs peuvent également...

Introduction complète Step-Audio est un cadre d'interaction vocale intelligente open source conçu pour fournir des capacités de compréhension et de génération vocales prêtes à l'emploi pour les environnements de production. Le cadre prend en charge les conversations multilingues (par exemple, le chinois, l'anglais, le japonais), les discours émotionnels (par exemple, heureux, triste), les dialectes régionaux (par exemple, le cantonais, le sichuan ...

Introduction générale Gemini Cursor est un assistant intelligent de bureau basé sur le modèle Gemini 2.0 Flash (expérimental) de Google. Il permet des interactions visuelles, auditives et vocales par le biais d'une API multimodale, offrant une utilisation...

Introduction complète DeepSeek-VL2 est une série de modèles avancés de langage visuel avec mélange d'experts (MoE) qui améliorent de manière significative les performances de son prédécesseur, DeepSeek-VL. Les modèles sont utiles pour les questions-réponses visuelles, la reconnaissance...

Introduction générale AI Web Operator est un outil d'exploitation de navigateur d'IA open source conçu pour simplifier l'expérience de l'utilisateur dans le navigateur en intégrant plusieurs technologies d'IA et SDK. L'outil est basé sur Browserbase et Vercel...

SpeechGPT 2.0-preview est le premier système d'interaction anthropomorphique en temps réel introduit par OpenMOSS, qui est formé sur la base de millions d'heures de données vocales. Le système est équipé d'une expression vocale anthropomorphique et d'une réponse à faible latence de 100 ms, ce qui permet de...

Introduction générale OpenAI Realtime Agents est un projet open source qui vise à montrer comment l'API temps réel d'OpenAI peut être utilisée pour construire des applications vocales multi-intelligentes. Il fournit un modèle de corps intelligent de haut niveau (emprunté à OpenAI Swarm) qui permet...

Introduction Bailing (Bailing) est un assistant de dialogue vocal open source conçu pour engager un dialogue naturel avec les utilisateurs par le biais de la parole. Le projet combine les technologies de reconnaissance vocale (ASR), de détection de l'activité vocale (VAD), de modélisation du langage (LLM) et de synthèse vocale (TTS) pour...

Introduction générale Weebo est un chatbot vocal en temps réel open source qui utilise Whisper Small pour la reconnaissance vocale, Llama 3.2 pour la génération de langage naturel et Kokoro-82M pour la synthèse vocale. Le projet a été développé par Aman...

Introduction OmAgent est un cadre multimodal de corps intelligent développé par Om AI Lab, visant à fournir de puissantes fonctionnalités alimentées par l'IA pour les appareils intelligents. En intégrant des modèles de base multimodaux et des algorithmes de corps intelligents de pointe, le projet permet aux développeurs de créer des appareils intelligents efficaces sur une variété de...

Introduction complète Always-On AI Assistant est un projet innovant d'assistant d'IA qui crée un système d'assistant d'IA puissant et permanent en ligne en intégrant des technologies avancées telles que Deepseek-V3, RealtimeSTT et Typer...

Introduction générale BrownChat est une application de chat audio en temps réel basée sur la technologie LLM (Large Language Modelling). Développé par l'utilisateur GitHub sugarforever, le projet vise à améliorer l'expérience de communication de l'utilisateur grâce à une technologie avancée de traitement du langage naturel.B...

Introduction complète Xiaozhi AI Chatbot est un projet open source basé sur la carte de développement ESP32, conçu pour aider les utilisateurs à construire leur propre compagnon de chat IA. Le projet a été développé par Shrimp et est principalement utilisé à des fins pédagogiques pour aider plus de gens à se lancer dans le développement de matériel d'IA et à comprendre comment appliquer de grands modèles de langage à des...

Introduction complète OpenAI Realtime API Next.js est un projet open source basé sur le framework Next.js , conçu pour aider les développeurs à créer rapidement des applications d'IA vocale en temps réel. Le projet intègre l'API en temps réel d'OpenAI et la technologie WebRTC...

Introduction générale VITA est un projet open source de modélisation interactive multimodale du langage, pionnier dans la capacité à réaliser une véritable interaction multimodale complète. Le projet a lancé VITA-1.0 en août 2024, inaugurant le premier modèle de langage interactif entièrement modal en open source....

TransRouter est un outil de traduction vocale en temps réel basé sur le modèle Gemini de Google, spécialement conçu pour la traduction vocale en temps réel entre l'anglais et le chinois. L'outil s'intègre de manière transparente dans les logiciels de vidéoconférence tels que Zoom, fournissant un outil puissant pour...

Introduction complète Projet de dérivation de la parole de Fish Fish Agent est un système révolutionnaire de clonage de la parole de bout en bout développé sur la base de l'architecture du modèle V0.1 3B. En tant que système de traitement de clones de parole de bout en bout, sa caractéristique la plus importante est l'utilisation de...

Introduction Infini-Megrez est une solution d'intelligence artificielle développée par le dôme de base incontesté (Infinigence AI), visant à atteindre une compréhension et une analyse multimodales efficaces grâce à la co-conception de matériel et de logiciel. Le cœur du projet est le modèle Megrez-3B, qui prend en charge les graphes...

Introduction générale Ichigo est un projet open source d'IA vocale en temps réel qui vise à étendre les modèles de langage basés sur le texte avec des capacités d'écoute natives. Le projet utilise des techniques de fusion précoces inspirées de l'article de Meta sur le caméléon....