tldraw computer: uso de modelos multimodais para orquestrar componentes em quadros brancos de fluxogramas para fluxos de trabalho de geração de conteúdo

Introdução geral

O tldraw computer é um projeto experimental lançado pela tldraw para fornecer uma tela infinita para a computação de linguagem natural. Os usuários podem criar e conectar componentes, gerar e transformar dados e executar instruções usando um modelo de linguagem multimodal como um tempo de execução. A plataforma permite que os usuários criem fluxos de trabalho complexos com operações simples para uma variedade de tarefas de processamento e geração de dados.

Os usuários C-end devem coreografar o fluxo corporal inteligente do produto de que forma, fivela, DIFY na verdade, o limite não é baixo, principalmente para desenvolvedores e criadores de conteúdo profissional. Desta vez, o tldraw dá uma nova direção. Embora o componente de link de tela sobre dependências de contexto complexas ainda tenha alguma lógica opaca ou defeitos, mas para os usuários finais C é suficiente.

Ferramentas de orquestração de fluxo de trabalho com recursos semelhantes(mas nenhuma das lógicas de entrada e saída é a mesma):

Glif: orquestração sem código de fluxos de trabalho de IA, saída de imagens e HTML modelados, uso ilimitado e gratuito do Flux 1.1pro

Takomo.ai: uma plataforma de criação de aplicativos de IA sem código para fluxos de trabalho multimodais por meio de arrastar e soltar na tela

flowith: ferramenta de bate-papo com IA orquestrada em tela | AI Intelligence Body

Lista de funções

• Infinite Canvas: fornece uma tela infinitamente expansível em que os usuários podem adicionar e conectar componentes livremente.
• Criação de componentes: os usuários podem criar vários componentes funcionais para geração e transformação de dados.
• Gerenciamento de fluxo de trabalho: suporte para criação, edição e gerenciamento de fluxos de trabalho complexos, incluindo ramificações e loops.
• Modelos de linguagem multimodal: execute instruções em linguagem natural usando modelos de linguagem multimodal avançados.
• Projetos de amostra: fornece projetos de amostra pré-criados com os quais os usuários podem começar a trabalhar e personalizar rapidamente.

Usando a Ajuda

Instalação e registro

1. Acesse https://computer.tldraw.com/.
2. Clique no botão "Get started" para acessar a página de registro.
3. Inscreva-se em uma nova conta com sua conta do Google ou endereço de e-mail, ou faça login com uma conta existente.

Criação e uso de componentes

1. Depois de fazer o login, entre na tela do Infinite Canvas.
2. Clique no botão "Create component" (Criar componente) para selecionar o tipo de componente e configurá-lo.
3. Arraste e solte componentes na tela e use linhas de conexão para ligar os componentes e formar um fluxo de trabalho.
4. Clique no componente, insira uma instrução de linguagem natural e execute a instrução usando um modelo de linguagem multimodal.

Gerenciar fluxos de trabalho

1. Crie vários componentes na tela e forme um fluxo de trabalho com linhas de conexão.
2. Use o menu de contexto ou a barra de ferramentas para fazer edições no fluxo de trabalho, incluindo a adição de ramificações e loops.
3. Salve o fluxo de trabalho e o sistema gerará automaticamente um projeto que o usuário poderá editar e executar a qualquer momento.

Exemplos de projetos

1. Clique no botão "Examples" (Exemplos) na página inicial e selecione um projeto de exemplo pré-criado.
2. Os projetos de amostra incluem um gerador de histórias, um sequenciador, um simulador de combate e outros que os usuários podem executar diretamente ou personalizar.
3. Edite o projeto de amostra e salve-o como seu próprio projeto para modificações e otimizações adicionais.

Gemini potencializa a experiência de "computação de linguagem natural" do tldraw

Desbloqueando a interação de linguagem natural com a API Gemini

Gêmeos As APIs facilitam para os desenvolvedores a integração de recursos avançados de IA em seus aplicativos, abrindo novas possibilidades para a experiência e a funcionalidade do usuário. Este artigo destaca como a tldraw usou o Gemini para criar a revolucionária experiência de "computação em linguagem natural" em seu novo computador de projeto. Ele mostra como as startups podem integrar de forma rápida e fácil recursos avançados de IA por meio da API Gemini e do canvas SDK da tldraw. A equipe da tldraw está prestes a lançar um computador usando o Gemini 1.5 Flash e está criando um protótipo de uma versão futura usando o Gemini 2.0 Flash.

O tldraw usa a API Gemini para trazer o poder da IA de conversação para a programação visual, permitindo que os usuários gerem conteúdo e processem informações por meio de linguagem natural. Isso abre oportunidades interessantes para experiências de usuário mais intuitivas e eficientes em torno da IA, ampliando os limites da comunicação visual.

A visão por trás do computador

A tldraw se dedica a tornar a criação de diagramas acessível e intuitiva, com a visão de oferecer aos usuários uma maneira mais natural de interagir com a tela. O fundador Steve Ruiz queria aproveitar o poder do Unlimited Canvas SDK da tldraw para criar um ambiente de trabalho dinâmico que incorporasse IA generativa. Essa visão levou ao desenvolvimento do computador, um aplicativo experimental que permite aos usuários criar fluxos de trabalho a partir de módulos de texto, imagens e comandos. Em tempo de execução, as informações fluem de um componente para o outro, com a saída de cada geração servindo como entrada para a próxima, criando um fluxo poderoso que pode se ramificar, fazer loops e iterar para gerar resultados.

Construindo com o Gemini 2.0: uma visão aprofundada do computador

O computador do tldraw é construído em uma rede de "componentes" interconectados que representam elementos na tela (caixas de texto, imagens, clipes de áudio etc.). Esses componentes são conectados por setas que visualizam o fluxo de dados e transformações. Cada componente tem um "processo" associado, ou seja, um conjunto de instruções a serem executadas com base nas entradas dos componentes conectados. Um componente pode aceitar dados de muitos outros componentes e passar seus dados de saída para muitos outros componentes, inclusive para ele mesmo! Essa arquitetura baseada em componentes, combinada com a potência e a velocidade do Gemini 2.0 Flash, cria um sistema rápido e flexível capaz de lidar com uma ampla variedade de tarefas.

O computador do tldraw combina a programação visual de IA baseada na geração de texto (usando o Gemini 2.0) com um modelo de geração de imagem.

Veja como o protótipo Gemini 2.0 Flash foi projetado para ajudar no desempenho:

• Execução de processos extremamente rápidaO Gemini 2.0 Flash permite a execução rápida de processos. Por exemplo, o componente "Instructions" (Instruções) pode conter "Write a short jingle" (Escreva um pequeno jingle). Quando acionado, o componente gera instantaneamente um conjunto de scripts passo a passo reutilizáveis que podem transformar qualquer combinação de entradas em um script de jingle. Em seguida, o componente combina sua entrada atual (por exemplo, "New AI Smart Gloves for Cats" no componente "Text") para gerar um prompt para o resultado final e passa esse resultado para outro componente "Text " vinculado para apresentação ou para outros componentes vinculados, como Speech (para conversão de texto em fala), Image (para geração visual) ou outro componente Command " para transformação adicional.
• Contexto rico e vários modosA maximização dos recursos do computador do tldraw requer velocidade, capacidade e recursos. Com vários componentes fornecendo dados para cada geração, a grande janela de contexto do Gemini 2.0 Flash é essencial para levar em conta todas as entradas e gerar resultados, além de oferecer suporte à combinação de imagens e documentos com avisos de texto.
• Dados estruturadosO fluxo de dados entre os componentes deve seguir um padrão consistente. A saída JSON estruturada do Gemini 2.0 Flash garante que todos os componentes de um fluxo de trabalho reconheçam qualquer tipo de dados e gerem sua saída com a mesma estrutura, evitando paralisações, otimizando a execução e garantindo que até mesmo grandes fluxos de trabalho sejam concluídos de forma confiável.
• Geração dinâmica de processosAlém de executar processos predefinidos, o Gemini 2.0 Flash também pode gerar processos dinamicamente. Um usuário pode digitar "Criar uma campanha de marketing com base na descrição deste produto" e o Gemini 2.0 Flash gerará as etapas (processos) e os componentes necessários para criar um fluxo de trabalho na tela com base na solicitação de alto nível do usuário. Essa geração dinâmica traz um grande potencial para inovar a experiência do usuário e simplificar os fluxos de trabalho.

Ganhos rápidos em inovação

A rápida implementação do computador no tldraw destaca o valor do Gemini para as startups: prototipagem rápida, experiência de usuário aprimorada por meio de interfaces intuitivas de linguagem natural e manipulação eficiente de dados estruturados com modelos como o Gemini 2.0 Flash. Essa combinação permite que pequenas equipes criem recursos inovadores de IA de forma rápida e econômica.

"Queríamos mostrar que qualquer equipe pode criar projetos ambiciosos usando o SDK de tela do tldraw. O gemini flash é um ótimo mecanismo para uma ferramenta de fluxo de trabalho rápida, multimodal e baseada em tela. Com o Gemini 2.0 e um nome melhor, tenho certeza de que poderemos lançar o computador como uma startup independente."

-- Steve Ruiz, fundador do tldraw