TheoremExplainAgent : Générer des vidéos d'explications mathématiques animées de plus de 5 minutes avec Manim

Introduction générale

TheoremExplainAgent est un projet innovant développé par TIGER AI Lab pour transformer des théorèmes mathématiques et scientifiques complexes en animations vidéo faciles à comprendre en utilisant la technologie de l'IA. L'outil est basé sur la puissance de raisonnement de la modélisation du grand langage (LLM), combinée à la génération d'animations et aux technologies de synthèse vocale, pour automatiser la génération de vidéos d'explication de théorèmes de plus de 5 minutes afin d'aider les utilisateurs à saisir intuitivement les concepts académiques. Le projet est ouvert sur GitHub et a reçu l'attention des communautés de l'éducation et de la technologie pour les étudiants, les enseignants et les apprenants intéressés par les domaines STEM (science, technologie, ingénierie, mathématiques). L'objectif principal de TheoremExplainAgent est de rendre les théorèmes abstraits vivants et intéressants en améliorant l'apprentissage par une approche multimodale.

Manim est une bibliothèque Python permettant de créer des animations mathématiques de haute qualité. Elle peut être utilisée pour créer des visualisations de concepts mathématiques, des transformations géométriques, des images de fonctions, des simulations de physique et plus encore, et est parfaite pour l'enseignement, les présentations et les vidéos de vulgarisation scientifique (comme celles de la chaîne 3Blue1Brown). Le projet n'a actuellement pas de code publié, et l'année dernière, il existait un outil avec un principe similaire appelé Garde-barrière Il peut être utilisé comme référence.

Liste des fonctions

• Génération automatique de vidéos de théorèmesLe système génère automatiquement une vidéo complète contenant des animations, des explications vocales et textuelles.
• Prise en charge des sorties multimodalesLe système d'apprentissage en trois dimensions : il combine un raisonnement textuel, des visualisations animées et une narration audio pour offrir une expérience d'apprentissage tridimensionnelle.
• Architecture de carrosserie doublement intelligente (DIB)Le projet de l'UE : utiliser deux intelligences IA travaillant en tandem, l'une pour raisonner sur les théorèmes et l'autre pour générer du contenu vidéo.
• Couverture interdisciplinaireLe logiciel est un outil d'interprétation des théorèmes dans de nombreux domaines tels que les mathématiques, la physique, la chimie et l'informatique.
• Code source ouvert et ensembles de donnéesLe code complet et les ressources connexes sont fournis, ce qui permet à l'utilisateur de les personnaliser ou de les développer à titre secondaire.
• Production de contenu de haute qualitéLes vidéos générées sont logiques et fluides : elles imitent le processus de production vidéo humain.

Utiliser l'aide

TheoremExplainAgent est un projet open source basé sur GitHub, et les utilisateurs ont besoin d'une certaine base technique pour l'installer et l'utiliser. Ce qui suit est un guide détaillé pour vous aider à démarrer rapidement avec cet outil.

Processus d'installation (non ouvert)

1. Préparation de l'environnement
   • Assurez-vous que Python 3.8 ou plus est installé sur votre ordinateur.
   • Installer Git pour cloner le code du projet depuis GitHub.
   • Il est recommandé d'utiliser un environnement virtuel pour éviter les conflits de dépendance avec la commande suivante :

     python -m venv venv
     source venv/bin/activate  # Linux/Mac
     venv\Scripts\activate     # Windows
     

2. Clonage du code du projet
   • Ouvrez un terminal et entrez la commande suivante pour télécharger le projet depuis GitHub :

     git clone https://github.com/TIGER-AI-Lab/TheoremExplainAgent.git
     cd TheoremExplainAgent
     

3. Installation des dépendances
   • Les dépendances du projet comprennent de grandes bibliothèques de modèles linguistiques, des outils de génération d'animations tels que Manim et des modules de synthèse vocale. Exécutez la commande suivante pour installer toutes les dépendances :

     pip install -r requirements.txt
     

   • au cas où requirements.txt n'est pas fourni, il faut se référer aux bibliothèques mentionnées dans la documentation du projet, par exemple transformers,manim répondre en chantant gTTSinstallation manuelle.
4. Modèles et outils de configuration
   • Téléchargez le modèle de langue large pré-entraîné (par exemple LLaMA ou la variante GPT) et configurez son chemin d'accès dans le fichier de configuration du projet.
   • Assurez-vous que Manim est correctement installé et exécutez la commande suivante pour le tester :

     manim -v
     

   • Si vous avez besoin d'une fonctionnalité vocale, installez un outil de synthèse vocale (tel que Google Text-to-Speech) et configurez la clé API.
5. Vérifier l'installation
   • Exécutez le script d'exemple fourni avec le projet pour vérifier si la vidéo est générée correctement :

     python examples/run_demo.py
     

Principales fonctions

Vidéo expliquant le théorème des générations

• Étape 1 : Préparation de l'entrée du théorème
  Dans le répertoire racine du projet, trouvez le fichier input (si ce n'est pas le cas, créez-le manuellement), créez un fichier texte (par ex. theorem.txt), en écrivant des théorèmes qui doivent être expliqués, par exemple :

Pythagorean Theorem: In a right triangle, the square of the hypotenuse equals the sum of the squares of the other two sides.

• Étape 2 : Exécuter le script de génération
  Utilisez la ligne de commande pour exécuter le script principal, en spécifiant le fichier d'entrée :

python generate_video.py --input theorem.txt --output video.mp4

• Étape 3 : Visualiser les résultats
  La vidéo générée sera enregistrée dans le chemin spécifié (par ex. video.mp4), contient des animations et une narration vocale.

Personnaliser le contenu du théorème

• compilateur configs/config.yaml en ajustant des paramètres tels que la durée de la vidéo, le style d'animation ou le débit de parole. Exemple :

  video:
  duration: 300  # 视频时长（秒）
  style: "simple"  # 动画风格
  voice:
  speed: 1.0  # 语速
  

• Relancez la commande generate pour voir l'effet de la personnalisation.

Débogage et optimisation

• Si la génération de la vidéo échoue, vérifiez le fichier journal (généralement dans le répertoire logs/ ) pour résoudre le problème. Les problèmes les plus courants sont des chemins d'accès au modèle erronés ou des bibliothèques de dépendances manquantes.
• Ajustement des paramètres d'inférence LLM (par exemple, les valeurs de température) temperature) pour améliorer la logique du contenu généré :

  python generate_video.py --input theorem.txt --temperature 0.7
  

Fonction en vedette Fonctionnement

Expérience de sortie multimodale

• Génération animationLe système : Basé sur le moteur Manim, le système décompose les théorèmes en étapes de visualisation. Par exemple, le théorème de Pythagore génère une présentation dynamique des triangles et des carrés.
• commentaire audioLe module vocal génère une narration en langage naturel basée sur le raisonnement, qui est automatiquement synchronisée avec l'animation.
• Support de texteLes sous-titres sont intégrés dans la vidéo pour les utilisateurs malentendants.

Soutien aux théorèmes interdisciplinaires

• Lorsque des théorèmes de différentes disciplines sont saisis, le système adapte automatiquement l'explication au contenu. Par exemple, un théorème de physique peut générer une animation d'une trajectoire de mouvement, et un théorème d'informatique peut montrer un organigramme algorithmique.
• Exemple d'entrée :

  Newton's Second Law: Force equals mass times acceleration.
  

  Les résultats générés contiendront des démonstrations animées de la force, de la masse et de l'accélération.

Conseils et astuces

• fichier de lot: écrire plusieurs théorèmes dans un seul fichier, séparés par des lignes nouvelles, et le script générera les vidéos une par une.
• Soutien communautaireSi vous rencontrez des problèmes, soumettez vos commentaires sur la page GitHub Issues et l'équipe et la communauté de TIGER AI Lab vous aideront.
• développement secondaireLes utilisateurs familiers avec Python peuvent modifier le fichier generate_video.pyIls ajoutent de nouvelles fonctionnalités telles que la prise en charge d'un plus grand nombre de langues ou d'effets d'animation.

Avec les étapes ci-dessus, vous pouvez facilement utiliser TheoremExplainAgent pour générer des vidéos d'explication de théorèmes de haute qualité, ce qui peut augmenter considérablement l'efficacité et le plaisir de l'auto-apprentissage et de l'enseignement.