ordinateur tldraw : utilisation de modèles multimodaux pour orchestrer les composants des tableaux blancs à organigramme pour les flux de travail de génération de contenu

Introduction générale

L'ordinateur tldraw est un projet expérimental lancé par tldraw pour fournir une toile infinie pour l'informatique en langage naturel. Les utilisateurs peuvent créer et connecter des composants, générer et transformer des données, et exécuter des instructions en utilisant un modèle de langage multimodal comme moteur d'exécution. La plateforme permet aux utilisateurs de créer des flux de travail complexes avec des opérations simples pour une variété de tâches de traitement et de génération de données.

J'ai réfléchi à un problème : pour les utilisateurs finaux, la chorégraphie intelligente du flux corporel du produit doit être de quelle forme, de quelle boucle, de quelle DIFY ; en fait, le seuil n'est pas bas, principalement pour les développeurs et les créateurs de contenu professionnels. Cette fois, tldraw donne une nouvelle direction. Bien que le composant de lien de toile concernant les dépendances de contexte complexes, il y a encore une certaine logique opaque, ou des défauts, mais pour les utilisateurs finaux, c'est suffisant.

Outils d'orchestration de flux de travail présentant des caractéristiques similaires(mais aucune des logiques d'entrée et de sortie n'est la même) :

Glif : orchestration sans code de flux d'IA, production d'images et de HTML modélisés, utilisation gratuite et illimitée de Flux 1.1pro

Takomo.ai : une plateforme de création d'applications d'IA sans code pour des flux de travail multimodaux par glisser-déposer.

flowith : outil de chat orchestré par la toile | AI Intelligence Body

Refly : une plateforme de rédaction IA basée sur l'orchestration de processus sur un canevas libre pour la génération automatisée d'articles.

Liste des fonctions

• Canevas infini : fournit un canevas extensible à l'infini où les utilisateurs peuvent librement ajouter et connecter des composants.
• Création de composants : les utilisateurs peuvent créer divers composants fonctionnels pour la génération et la transformation de données.
• Gestion des flux de travail : aide à la création, à l'édition et à la gestion de flux de travail complexes, y compris les branches et les boucles.
• Modèles linguistiques multimodaux : Exécutez des instructions en langage naturel à l'aide de modèles linguistiques multimodaux avancés.
• Exemples de projets : fournit des exemples de projets préconstruits que les utilisateurs peuvent rapidement mettre en œuvre et personnaliser.

Utiliser l'aide

Installation et enregistrement

1. Visitez le site https://computer.tldraw.com/.
2. Cliquez sur le bouton "Get started" pour accéder à la page d'inscription.
3. Créez un nouveau compte à l'aide de votre compte Google ou de votre adresse e-mail, ou connectez-vous à l'aide d'un compte existant.

Création et utilisation de composants

1. Après vous être connecté, entrez dans l'écran Infinite Canvas.
2. Cliquez sur le bouton "Créer un composant" pour sélectionner le type de composant et le configurer.
3. Faites glisser et déposez des composants sur le canevas et utilisez des lignes de connexion pour relier les composants entre eux afin de former un flux de travail.
4. Cliquez sur le composant, saisissez une instruction en langage naturel et exécutez l'instruction à l'aide d'un modèle de langage multimodal.

Gestion des flux de travail

1. Créez plusieurs composants sur le canevas et formez un flux de travail avec des lignes de connexion.
2. Utilisez le menu contextuel ou la barre d'outils pour modifier le flux de travail, notamment pour ajouter des branches et des boucles.
3. Enregistrez le flux de travail et le système générera automatiquement un projet que l'utilisateur pourra modifier et exécuter à tout moment.

Exemples de projets

1. Cliquez sur le bouton "Exemples" de la page d'accueil et sélectionnez un projet d'exemple préconstruit.
2. Les exemples de projets comprennent un générateur d'histoires, un séquenceur, un simulateur de combat, etc., que l'utilisateur peut exécuter directement ou personnaliser.
3. Modifiez l'exemple de projet et enregistrez-le pour le modifier et l'optimiser.

Gemini alimente l'expérience de tldraw en matière d'"informatique du langage naturel".

Débloquer l'interaction en langage naturel avec l'API Gemini

Gémeaux Les API permettent aux développeurs d'intégrer facilement des capacités d'IA avancées dans leurs applications, ce qui ouvre de nouvelles possibilités en termes d'expérience utilisateur et de fonctionnalité. Cet article montre comment tldraw a utilisé Gemini pour créer une expérience révolutionnaire d'"informatique en langage naturel" dans son nouveau projet, computer. Il montre comment les startups peuvent tirer parti de Gemini pour créer une expérience révolutionnaire d'"informatique en langage naturel" dans leur nouveau projet, computer. API Gemini et le SDK canvas de tldraw pour l'intégration rapide et facile de puissantes fonctions d'IA. L'équipe de tldraw est sur le point de sortir un ordinateur utilisant Gemini 1.5 Flash et est en train de prototyper une future version utilisant Gemini 2.0 Flash.

tldraw utilise l'API Gemini pour apporter la puissance de l'IA conversationnelle à la programmation visuelle, permettant aux utilisateurs de générer du contenu et de traiter des informations par le biais du langage naturel. Cela ouvre des perspectives passionnantes pour des expériences utilisateur plus intuitives et plus efficaces autour de l'IA, repoussant les limites de la communication visuelle.

La vision derrière l'ordinateur

tldraw se consacre à rendre la création de diagrammes accessible et intuitive, avec la vision de fournir aux utilisateurs une manière plus naturelle d'interagir avec leur toile. Le fondateur Steve Ruiz souhaitait exploiter la puissance du SDK Unlimited Canvas de tldraw pour créer un environnement de travail dynamique intégrant l'IA générative. Cette vision a conduit au développement de computer, une application expérimentale qui permet aux utilisateurs de créer des flux de travail à partir de modules de texte, d'images et de commandes. Au moment de l'exécution, les informations circulent d'un composant à l'autre, la sortie de chaque génération servant d'entrée à la suivante, créant ainsi un processus puissant qui peut se ramifier, se boucler et itérer pour générer des résultats.

Construire avec Gemini 2.0 : un regard approfondi sur l'informatique

L'ordinateur de tldraw est construit sur un réseau de "composants" interconnectés représentant des éléments sur le canevas (zones de texte, images, clips audio, etc.). Ces composants sont reliés par des flèches qui visualisent le flux de données et les transformations. Chaque composant est associé à un "processus", c'est-à-dire à un ensemble d'instructions à exécuter en fonction des entrées provenant des composants connectés. Un composant peut accepter des données provenant de nombreux autres composants et transmettre ses données de sortie à de nombreux autres composants, voire à lui-même ! Cette architecture basée sur les composants, combinée à la puissance et à la vitesse de Gemini 2.0 Flash, crée un système rapide et flexible capable de gérer une grande variété de tâches.

L'ordinateur de tldraw combine la programmation visuelle de l'IA basée sur la génération de texte (à l'aide de Gemini 2.0) avec un modèle de génération d'images.

Voici comment le prototype Gemini 2.0 Flash est conçu pour améliorer les performances :

• Exécution des processus à la vitesse de l'éclairGemini 2.0 Flash permet l'exécution rapide de processus. Par exemple, le composant "Instructions" peut contenir "Écrire un petit jingle". Lorsqu'il est déclenché, le composant génère instantanément un ensemble de scripts réutilisables, étape par étape, qui peuvent transformer n'importe quelle combinaison d'entrées en un script de jingle. Le composant combine ensuite son entrée actuelle (par exemple, "New AI Smart Gloves for Cats" dans le composant "Text") pour générer une invite pour la sortie finale, et transmet cette sortie à un autre composant "Text" lié pour présentation, ou à d'autres composants "Text". "pour la présentation, ou à d'autres composants liés tels que Speech (pour la synthèse vocale), Image (pour la génération visuelle), ou à d'autres composants Command "pour une transformation ultérieure.
• Un contexte riche et des modes multiplesL'optimisation des fonctionnalités de l'ordinateur de tldraw requiert vitesse, capacité et aptitude. Avec plusieurs composants fournissant des données pour chaque génération, la grande fenêtre contextuelle de Gemini 2.0 Flash est essentielle pour prendre en compte toutes les entrées et générer des sorties, et elle prend en charge la combinaison d'images et de documents avec des invites textuelles.
• Données structuréesLa sortie JSON structurée de Gemini 2.0 Flash garantit que chaque composant d'un flux de travail reconnaît tout type de données et génère sa sortie avec la même structure, évitant ainsi les blocages, optimisant l'exécution et garantissant que même les flux de travail importants sont achevés de manière fiable.
• Génération dynamique de processusGemini 2.0 Flash peut non seulement exécuter des processus prédéfinis, mais aussi générer des processus de manière dynamique. Un utilisateur peut taper "Créer une campagne marketing basée sur cette description de produit" et Gemini 2.0 Flash générera les étapes (processus) et les composants nécessaires pour construire un flux de travail sur le canevas en fonction de la demande de haut niveau de l'utilisateur. Cette génération dynamique offre un grand potentiel pour des expériences utilisateur innovantes et des flux de travail rationalisés.

Des gains rapides en matière d'innovation

La mise en œuvre rapide de l'ordinateur dans tldraw met en évidence la valeur de Gemini pour les startups : prototypage rapide, expérience utilisateur améliorée grâce à des interfaces intuitives en langage naturel, et traitement efficace des données structurées avec des modèles tels que Gemini 2.0 Flash. Cette combinaison permet à de petites équipes de créer rapidement et à moindre coût des capacités d'IA innovantes.

"Nous voulions montrer que n'importe quelle équipe peut construire des projets ambitieux en utilisant le SDK canvas de tldraw. gemini flash est un excellent moteur pour un outil de flux de travail rapide, multimodal et basé sur le canvas. Avec Gemini 2.0 et un meilleur nom, je suis sûr que nous pourrons lancer l'ordinateur en tant que startup indépendante".

-- Steve Ruiz, fondateur de tldraw