Director: Intelligenter Video-Agent für die Durchführung von Video-Such-, -Bearbeitungs- und -Generierungs-Workflows mit natürlichsprachlichen Beschreibungen

Allgemeine Einführung

Director ist ein Open-Source-Framework zur Vereinfachung und Optimierung von Videointeraktionen und -workflows durch den Aufbau intelligenter Videoagenten. Das Framework basiert auf der Video-as-Data-Infrastruktur von VideoDB und ist in der Lage, komplexe Videoaufgaben wie das Suchen, Bearbeiten, Kompilieren und Generieren zu bewältigen und die Ergebnisse sofort zu streamen. Benutzer können den Video-Agenten mit einfachen Befehlen in natürlicher Sprache steuern, z. B. Videos hochladen und Highlights an Slack senden. director richtet sich an Entwickler, Kreative und Teams, die KI nutzen möchten, um Medien-Workflows zu optimieren und neue Möglichkeiten zu erschließen.

Funktionsliste

• Videozusammenfassung: Erstellen Sie in Sekundenschnelle Videozusammenfassungen.
• Videogenerierung: Generieren Sie aus Skripten vollständige Filme mit Kommentaren.
• Videosuche: Suchen und indizieren Sie bestimmte Momente in der Mediathek.
• Videobearbeitung: Einfaches Organisieren und Bearbeiten von Inhalten.
• Audio- und Videobearbeitung: Einfache Nachvertonung und Bearbeitung von Audio und Video.
• Untertitelübersetzung: Übersetzen und Hinzufügen von Untertiteln in jeder Sprache.
• Integration mit GenAI-Projekten und APIs: Erstellen und bearbeiten Sie Inhalte on-the-fly.
• Fügen Sie Überlagerungen hinzu und erstellen Sie Miniaturansichten.

Hilfe verwenden

Ablauf der Installation

1. Klon-Lagerhaus:

   git clone https://github.com/video-db/Director.git
   cd Direktor
   

2. Führen Sie das Installationsskript aus:

   . /setup.sh
   

   Dieses Skript installiert Node.js und Python und richtet virtuelle Umgebungen für das Front-End und Back-End ein.

3. Konfigurieren Sie die Umgebungsvariablen:
   Compiler .env Datei und fügen API-Schlüssel und andere Konfigurationsoptionen hinzu.

Verwendung Prozess

1. Starten Sie die Anwendung:

   laufen lassen
   

   • Backend-Server: http://127.0.0.1:8000
   • Front-End-Server: http://127.0.0.1:8080
2. Erstellen Sie einen neuen Agenten:
   • Kopieren von Vorlagendateien beispiel_agent.py bis (eine Zeit) Direktor/Backend/Regisseur/Agenten/ und umbenannt.
   • Aktualisieren Sie den Klassennamen, den Bearbeiternamen und die Beschreibung.
   • Implementierung der Proxy-Logik, Aktualisierung run() Methoden.
   • Verarbeitet Ausgaben und Statusaktualisierungen mit der push_update() Sendet ein Fortschrittsereignis.
   • Registrieren Sie einen neuen Agenten unter Direktor/Backend/Direktor/handler.py Importieren Sie die neue Proxyklasse in die self.agents Liste.
3. Dokumentationsdienste:
   • Dokumentation des lokalen Dienstes:

     source backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • Erstellen Sie die Dokumentation:

     mkdocs bauen
     

Richtlinien für die Verwendung

1. Video-ZusammenfassungNach dem Hochladen eines Videos können Sie mit natürlichsprachlichen Befehlen eine Zusammenfassung des Videos erstellen. Geben Sie z. B. "Zusammenfassung dieses Videos erstellen" ein, und das System verarbeitet und erstellt automatisch eine Zusammenfassung.
2. Video-SucheGeben Sie einen Suchbegriff in die Suchleiste ein, und das System wird die entsprechenden Clips in der Videobibliothek suchen und anzeigen.
3. VideoclipWählen Sie einen Videoclip und bearbeiten Sie ihn mit den Bearbeitungswerkzeugen, um den gewünschten Videoclip zu erstellen.
4. Integration mit GenAI-Projekten und APIsErweiterung der Videoverarbeitungsfunktionen durch Integration anderer KI-Tools über API-Schnittstellen.
5. Hinzufügen von Overlays und Erstellen von MiniaturbildernIn der Videobearbeitungsoberfläche wählen Sie die Option zum Hinzufügen einer Überlagerungsebene oder zum Erstellen einer Miniaturansicht.
6. Synchronisation und Übersetzung von UntertitelnNach dem Hochladen des Videos wählen Sie die Übersetzungsfunktion für Synchronisation oder Untertitel aus, und das System erstellt automatisch die entsprechende Synchronisation oder den Untertitel.

Detaillierte Vorgehensweise

• Generierung von Videozusammenfassungen::
  1. Laden Sie eine Videodatei hoch.
  2. Geben Sie in das Befehlseingabefeld "Videozusammenfassung generieren" ein.
  3. Nach der Verarbeitung durch das System wird die generierte Videozusammenfassung im Ergebnisbereich angezeigt.
• Video-Suche::
  1. Rufen Sie die Seite für die Videosuche auf.
  2. Geben Sie Stichworte in das Suchfeld ein.
  3. Das System durchsucht die Videobibliothek und zeigt passende Clips an.
• Videoclip::
  1. Wählen Sie das Video aus, das Sie bearbeiten möchten.
  2. Verwenden Sie das Clip-Werkzeug, um die Start- und Endzeit auszuwählen.
  3. Klicken Sie auf die Schaltfläche "Clip generieren". Das System generiert und speichert den Clip.
• Integration mit GenAI-Projekten und APIs::
  1. Rufen Sie die API-Integrationsseite auf.
  2. Geben Sie den erforderlichen API-Schlüssel und die Konfiguration ein.
  3. Das System integriert und aktiviert automatisch neue Funktionen.
• Hinzufügen von Overlays und Erstellen von Miniaturbildern::
  1. Wählen Sie auf der Videobearbeitungsseite "Überlagerung hinzufügen" oder "Miniaturansicht erzeugen".
  2. Das System verarbeitet und übernimmt die Änderungen automatisch.
• Synchronisation und Übersetzung von Untertiteln::
  1. Laden Sie eine Videodatei hoch.
  2. Wählen Sie die Funktion "Voice Dubbing" oder "Subtitle Translation".
  3. Das System erstellt automatisch eine Synchronisation oder Untertitelung und wendet diese an.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>