tldraw computer: Verwendung multimodaler Modelle zur Orchestrierung von Komponenten in einem Flussdiagramm-Whiteboard für Arbeitsabläufe zur Erstellung von Inhalten

Allgemeine Einführung

tldraw computer ist ein experimentelles Projekt, das von tldraw ins Leben gerufen wurde, um eine unendliche Leinwand für Berechnungen in natürlicher Sprache bereitzustellen. Benutzer können Komponenten erstellen und verbinden, Daten generieren und umwandeln und Anweisungen unter Verwendung eines multimodalen Sprachmodells als Laufzeit ausführen. Die Plattform ermöglicht es den Nutzern, komplexe Arbeitsabläufe mit einfachen Operationen für eine Vielzahl von Datenverarbeitungs- und Generierungsaufgaben zu erstellen.

Haben über ein Problem nachgedacht, für C-End-Benutzer zu choreographieren intelligenten Körperfluss des Produkts sollte, welche Form, Schnalle, DIFY in der Tat, die Schwelle ist nicht niedrig, vor allem für Entwickler und professionelle Content Creators. Dieses Mal tldraw gibt eine neue Richtung. Obwohl die Leinwand Link-Komponente über komplexe Kontextabhängigkeiten gibt es noch einige undurchsichtige Logik, oder Mängel, aber für C-End-Benutzer genug.

Workflow-Orchestrierungstools mit ähnlichen Funktionen(aber keine der Eingangs- und Ausgangslogiken ist die gleiche):

Glif: codefreie Orchestrierung von KI-Workflows, Ausgabe von Bild- und HTML-Vorlagen, kostenlose unbegrenzte Nutzung von Flux 1.1pro

Takomo.ai: eine codefreie KI-Plattform für multimodale Workflows per Drag & Drop auf der Leinwand

flowith: Canvas-orchestriertes KI-Chat-Tool | AI Intelligence Body

Funktionsliste

• Infinite Canvas: Bietet eine unendlich erweiterbare Leinwand, in der die Benutzer Komponenten frei hinzufügen und verbinden können.
• Komponentenerstellung: Benutzer können verschiedene funktionale Komponenten für die Datenerzeugung und -umwandlung erstellen.
• Workflow-Management: Unterstützung für die Erstellung, Bearbeitung und Verwaltung komplexer Workflows, einschließlich Verzweigungen und Schleifen.
• Multimodale Sprachmodelle: Ausführen von Anweisungen in natürlicher Sprache mit Hilfe fortschrittlicher multimodaler Sprachmodelle.
• Beispielprojekte: Bietet vorgefertigte Beispielprojekte, mit denen die Benutzer schnell beginnen und die sie anpassen können.

Hilfe verwenden

Installation und Registrierung

1. Besuchen Sie https://computer.tldraw.com/.
2. Klicken Sie auf die Schaltfläche "Los geht's", um die Registrierungsseite aufzurufen.
3. Melden Sie sich mit Ihrem Google-Konto oder Ihrer E-Mail-Adresse für ein neues Konto an, oder melden Sie sich mit einem bestehenden Konto an.

Erstellen und Verwenden von Komponenten

1. Rufen Sie nach dem Einloggen den Bildschirm Infinite Canvas auf.
2. Klicken Sie auf die Schaltfläche "Komponente erstellen", um den Komponententyp auszuwählen und ihn zu konfigurieren.
3. Ziehen Sie Komponenten auf die Arbeitsfläche und verwenden Sie Verbindungslinien, um die Komponenten zu einem Arbeitsablauf zusammenzufügen.
4. Klicken Sie auf die Komponente und geben Sie eine natürlichsprachliche Anweisung ein, um die Anweisung mithilfe eines multimodalen Sprachmodells auszuführen.

Verwaltung von Arbeitsabläufen

1. Erstellen Sie mehrere Komponenten auf der Leinwand und bilden Sie einen Arbeitsablauf mit Verbindungslinien.
2. Verwenden Sie das Kontextmenü oder die Symbolleiste, um Änderungen am Arbeitsablauf vorzunehmen, einschließlich des Hinzufügens von Verzweigungen und Schleifen.
3. Speichern Sie den Arbeitsablauf, und das System erstellt automatisch ein Projekt, das der Benutzer jederzeit bearbeiten und ausführen kann.

Beispielhafte Projekte

1. Klicken Sie auf der Startseite auf die Schaltfläche "Beispiele" und wählen Sie ein vorgefertigtes Beispielprojekt aus.
2. Zu den Beispielprojekten gehören ein Story-Generator, ein Sequenzer, ein Kampfsimulator und vieles mehr, das die Benutzer direkt ausführen oder anpassen können.
3. Bearbeiten Sie das Beispielprojekt und speichern Sie es als Ihr eigenes, um es weiter zu verändern und zu optimieren.

Gemini unterstützt tldraws "Natural Language Computing"-Erfahrung

Entschlüsselung der natürlichen Sprachinteraktion mit der Gemini-API

Zwillinge APIs machen es Entwicklern leicht, fortschrittliche KI-Funktionen in ihre Anwendungen zu integrieren und eröffnen so neue Möglichkeiten für Benutzererfahrung und Funktionalität. Dieser Artikel zeigt, wie tldraw Gemini verwendet hat, um das revolutionäre "Natural Language Computing"-Erlebnis in seinem neuen Projektcomputer zu schaffen. Er zeigt, wie Startups mit Hilfe der Gemini-API und dem Canvas-SDK von tldraw schnell und einfach leistungsstarke KI-Funktionen integrieren können. Das Team von tldraw ist dabei, einen Computer mit Gemini 1.5 Flash auf den Markt zu bringen, und arbeitet an einem Prototyp für eine zukünftige Version mit Gemini 2.0 Flash.

tldraw nutzt die Gemini-API, um die Leistungsfähigkeit der konversationellen KI in die visuelle Programmierung einzubringen, so dass Benutzer Inhalte generieren und Informationen durch natürliche Sprache verarbeiten können. Dies eröffnet spannende Möglichkeiten für intuitivere und effizientere Benutzererfahrungen rund um KI und verschiebt die Grenzen der visuellen Kommunikation.

Die Vision hinter dem Computer

tldraw hat es sich zur Aufgabe gemacht, die Erstellung von Diagrammen zugänglich und intuitiv zu machen, mit der Vision, Nutzern eine natürlichere Art der Interaktion mit ihrer Leinwand zu ermöglichen. Der Gründer Steve Ruiz wollte die Leistungsfähigkeit des Unlimited Canvas SDK von tldraw nutzen, um eine dynamische Arbeitsumgebung zu schaffen, die generative KI einbezieht. Diese Vision führte zur Entwicklung von Computer, einer experimentellen Anwendung, mit der Benutzer Workflows aus Text-, Bild- und Befehlsmodulen erstellen können. Zur Laufzeit fließen Informationen von einer Komponente zur nächsten, wobei die Ausgabe jeder Generation als Eingabe für die nächste dient. So entsteht ein leistungsstarker Prozess, der Verzweigungen, Schleifen und Iterationen zur Generierung von Ergebnissen ermöglicht.

Bauen mit Gemini 2.0: Ein detaillierter Blick auf Computer

Der Computer von tldraw ist auf einem Netz von miteinander verbundenen "Komponenten" aufgebaut, die Elemente auf der Leinwand darstellen (Textfelder, Bilder, Audioclips usw.). Diese Komponenten sind durch Pfeile verbunden, die den Datenfluss und die Transformationen visualisieren. Jede Komponente hat einen zugehörigen "Prozess", d. h. eine Reihe von Anweisungen, die auf der Grundlage der Eingaben der verbundenen Komponenten ausgeführt werden. Eine Komponente kann Daten von vielen anderen Komponenten entgegennehmen und ihre Ausgabedaten an viele andere Komponenten weitergeben - sogar an sich selbst! Diese komponentenbasierte Architektur, kombiniert mit der Leistung und Geschwindigkeit von Gemini 2.0 Flash, schafft ein schnelles und flexibles System, das eine Vielzahl von Aufgaben bewältigen kann.

Der tldraw-Computer kombiniert visuelle KI-Programmierung auf der Grundlage von Texterzeugung (unter Verwendung von Gemini 2.0) mit einem Bilderzeugungsmodell.

So soll der Gemini 2.0 Flash-Prototyp die Leistung steigern:

• Blitzschnelle ProzessausführungGemini 2.0 Flash ermöglicht die schnelle Ausführung von Prozessen. Die Komponente "Anweisungen" könnte zum Beispiel "Schreibe einen kurzen Jingle" enthalten. Wenn sie ausgelöst wird, generiert die Komponente sofort eine Reihe von wiederverwendbaren Schritt-für-Schritt-Skripten, die jede Kombination von Eingaben in ein Jingle-Skript umwandeln können. Die Komponente kombiniert dann ihre aktuelle Eingabe (z. B. "New AI Smart Gloves for Cats" in der Komponente "Text"), um eine Aufforderung für die endgültige Ausgabe zu generieren, und gibt diese Ausgabe an eine andere verknüpfte "Text "-Komponente zur Präsentation oder an andere verknüpfte Komponenten wie "Speech" (für Text-to-Speech), "Image" (für visuelle Erzeugung) oder eine andere "Command "Komponente zur weiteren Umwandlung.
• Reichhaltiger Kontext und mehrere ModiDie Maximierung der Funktionen des tldraw-Computers erfordert Geschwindigkeit, Kapazität und Leistungsfähigkeit. Da mehrere Komponenten Daten für jede Generation liefern, ist das große Kontextfenster von Gemini 2.0 Flash unerlässlich, um alle Eingaben zu berücksichtigen und Ausgaben zu generieren, und es unterstützt die Kombination von Bildern und Dokumenten mit Texteingaben.
• Strukturierte DatenDie strukturierte JSON-Ausgabe von Gemini 2.0 Flash stellt sicher, dass jede Komponente in einem Workflow jede Art von Daten erkennt und ihre Ausgabe mit der gleichen Struktur generiert, wodurch Stillstand verhindert, die Ausführung optimiert und sichergestellt wird, dass selbst umfangreiche Workflows zuverlässig abgeschlossen werden können.
• Dynamische ProzessgenerierungZusätzlich zur Ausführung vordefinierter Prozesse kann Gemini 2.0 Flash auch dynamisch Prozesse generieren. Ein Benutzer kann eingeben: "Erstellen Sie eine Marketing-Kampagne auf der Grundlage dieser Produktbeschreibung" und Gemini 2.0 Flash generiert die erforderlichen Schritte (Prozesse) und Komponenten, um einen Workflow auf der Leinwand auf der Grundlage der übergeordneten Anforderung des Benutzers zu erstellen. Diese dynamische Generierung birgt ein großes Potenzial für die Innovation der Benutzererfahrung und die Rationalisierung von Arbeitsabläufen.

Schnelle Erfolge bei der Innovation

Die schnelle Implementierung von Computer in tldraw unterstreicht den Wert von Gemini für Startups: schnelles Prototyping, verbesserte Benutzererfahrung durch intuitive natürlichsprachliche Schnittstellen und effiziente Handhabung strukturierter Daten mit Modellen wie Gemini 2.0 Flash. Diese Kombination ermöglicht es kleinen Teams, schnell und kostengünstig innovative KI-Funktionen zu entwickeln.

"Wir wollten zeigen, dass jedes Team ehrgeizige Projekte mit dem Canvas-SDK von tldraw erstellen kann. gemini flash ist eine großartige Engine für ein schnelles, multimodales, Canvas-basiertes Workflow-Tool. Mit Gemini 2.0 und einem besseren Namen bin ich mir sicher, dass wir den Computer als unabhängiges Startup starten können."

-- Steve Ruiz, Gründer von tldraw