tldraw computer: uso de modelos multimodales para orquestar componentes en pizarras de diagramas de flujo para flujos de trabajo de generación de contenidos

Introducción general

tldraw computer es un proyecto experimental lanzado por tldraw para proporcionar un lienzo infinito para la computación en lenguaje natural. Los usuarios pueden crear y conectar componentes, generar y transformar datos y ejecutar instrucciones utilizando un modelo de lenguaje multimodal como tiempo de ejecución. La plataforma permite a los usuarios crear flujos de trabajo complejos con operaciones sencillas para una gran variedad de tareas de procesamiento y generación de datos.

Han estado pensando en un problema, para los usuarios C-end para coreografiar el flujo inteligente del cuerpo del producto debe ser qué forma, hebilla, DIFY de hecho, el umbral no es bajo, principalmente para los desarrolladores y creadores de contenido profesional. Esta vez tldraw da una nueva dirección. Aunque el componente de enlace de lona sobre las dependencias de contexto complejo todavía hay alguna lógica opaca, o defectos, pero para los usuarios C-end suficiente.

Herramientas de orquestación de flujos de trabajo con funciones similares(pero ninguna de las lógicas de entrada y salida es la misma):

Glif: orquestación sin código de flujos de trabajo de IA, salida de imágenes planificadas y HTML, uso ilimitado y gratuito de Flux 1.1pro

Takomo.ai: una plataforma de creación de aplicaciones de inteligencia artificial sin código para flujos de trabajo multimodales mediante la función de arrastrar y soltar.

flowith: herramienta de chat orquestada por IA | AI Intelligence Body

Refly: una plataforma de redacción basada en IA que orquesta procesos sobre un lienzo libre para la generación automatizada de artículos.

Lista de funciones

• Lienzo infinito: proporciona un lienzo infinitamente ampliable en el que los usuarios pueden añadir y conectar componentes libremente.
• Creación de componentes: los usuarios pueden crear varios componentes funcionales para la generación y transformación de datos.
• Gestión de flujos de trabajo: soporte para crear, editar y gestionar flujos de trabajo complejos, incluyendo ramas y bucles.
• Modelos de lenguaje multimodal: Ejecute instrucciones en lenguaje natural utilizando modelos de lenguaje multimodal avanzados.
• Proyectos de muestra: proporciona proyectos de muestra preconstruidos con los que los usuarios pueden empezar a trabajar rápidamente y personalizarlos.

Utilizar la ayuda

Instalación y registro

1. Visite https://computer.tldraw.com/.
2. Haga clic en el botón "Empezar" para acceder a la página de inscripción.
3. Regístrate para obtener una nueva cuenta con tu cuenta de Google o tu dirección de correo electrónico, o accede con una cuenta existente.

Creación y utilización de componentes

1. Tras iniciar sesión, acceda a la pantalla del Lienzo Infinito.
2. Haga clic en el botón "Crear componente" para seleccionar el tipo de componente y configurarlo.
3. Arrastre y suelte componentes en el lienzo y utilice líneas de conexión para unir los componentes y formar un flujo de trabajo.
4. Haga clic en el componente e introduzca una instrucción en lenguaje natural para ejecutar la instrucción utilizando un modelo de lenguaje multimodal.

Gestión de flujos de trabajo

1. Cree varios componentes en el lienzo y forme un flujo de trabajo con líneas de conexión.
2. Utilice el menú contextual o la barra de herramientas para editar el flujo de trabajo, incluyendo la adición de ramas y bucles.
3. Guarde el flujo de trabajo y el sistema generará automáticamente un proyecto que el usuario podrá editar y ejecutar en cualquier momento.

Ejemplos de proyectos

1. Haga clic en el botón "Ejemplos" de la página de inicio y seleccione un proyecto de ejemplo preconstruido.
2. Entre los proyectos de muestra se incluyen un generador de historias, un secuenciador, un simulador de combate, etc., que el usuario puede ejecutar directamente o personalizar.
3. Edite el proyecto de ejemplo y guárdelo como propio para modificarlo y optimizarlo.

Gemini potencia la experiencia de "computación en lenguaje natural" de tldraw

Interacción en lenguaje natural con la API Gemini

Géminis Las API facilitan a los desarrolladores la integración de capacidades avanzadas de IA en sus aplicaciones, abriendo nuevas posibilidades de experiencia de usuario y funcionalidad. Este artículo destaca cómo tldraw utilizó Gemini para construir la revolucionaria experiencia de "computación en lenguaje natural" en su nuevo proyecto, computer. Muestra cómo las startups pueden aprovechar Gemini para API Géminis y el SDK de lienzo de tldraw para una integración rápida y sencilla de potentes funciones de IA. El equipo de tldraw está a punto de lanzar un equipo que utiliza Gemini 1.5 Flash y está creando prototipos de una futura versión que utilizará Gemini 2.0 Flash.

tldraw utiliza la API Gemini para llevar la potencia de la IA conversacional a la programación visual, permitiendo a los usuarios generar contenidos y procesar información a través del lenguaje natural. Esto abre interesantes oportunidades para experiencias de usuario más intuitivas y eficientes en torno a la IA, ampliando los límites de la comunicación visual.

La visión detrás del ordenador

tldraw se dedica a hacer que la creación de diagramas sea accesible e intuitiva, con la visión de proporcionar a los usuarios una forma más natural de interactuar con su lienzo. Su fundador, Steve Ruiz, quería aprovechar la potencia del SDK Unlimited Canvas de tldraw para crear un entorno de trabajo dinámico que incorporara IA generativa. Esta visión llevó al desarrollo de computer, una aplicación experimental que permite a los usuarios crear flujos de trabajo a partir de módulos de texto, imágenes y comandos. En tiempo de ejecución, la información fluye de un componente al siguiente, y la salida de cada generación sirve de entrada para la siguiente, creando un potente flujo que puede bifurcarse, formar bucles e iterar para generar resultados.

Construir con Gemini 2.0: una mirada en profundidad al ordenador

El ordenador de tldraw está construido sobre una red de "componentes" interconectados que representan elementos en el lienzo (cuadros de texto, imágenes, clips de audio, etc.). Estos componentes están conectados por flechas que visualizan el flujo de datos y transformaciones. Cada componente tiene asociado un "proceso", es decir, un conjunto de instrucciones que deben ejecutarse a partir de las entradas de los componentes conectados. Un componente puede aceptar datos de muchos otros componentes y pasar sus datos de salida a muchos otros componentes, ¡incluso a sí mismo! Esta arquitectura basada en componentes, combinada con la potencia y velocidad de Gemini 2.0 Flash, crea un sistema rápido y flexible capaz de gestionar una amplia variedad de tareas.

El ordenador de tldraw combina la programación visual AI basada en la generación de texto (mediante Gemini 2.0) con un modelo de generación de imágenes.

He aquí cómo el prototipo Gemini 2.0 Flash está diseñado para ayudar al rendimiento:

• Ejecución de procesos rapidísima: Gemini 2.0 Flash permite la ejecución rápida de procesos. Por ejemplo, el componente "Instrucciones" puede contener "Escribir un jingle corto". Cuando se activa, el componente genera instantáneamente un conjunto de guiones paso a paso reutilizables que pueden transformar cualquier combinación de entradas en un guión de jingle. A continuación, el componente combina su entrada actual (por ejemplo, "Nuevos guantes inteligentes de inteligencia artificial para gatos" en el componente "Texto") para generar una instrucción para la salida final, y pasa esta salida a otro componente "Texto para su presentación, o a otros componentes vinculados, como "Speech" (para la conversión de texto en voz), "Image" (para la generación visual) u otro componente "Command "para su posterior transformación.
• Contexto rico y modos múltiplesMaximizar las prestaciones del ordenador de tldraw requiere velocidad, capacidad y habilidad. Con múltiples componentes que proporcionan datos para cada generación, la gran ventana contextual de Gemini 2.0 Flash es esencial para tener en cuenta todas las entradas y generar la salida, y admite la combinación de imágenes y documentos con indicaciones de texto.
• Datos estructuradosLa salida JSON estructurada de Gemini 2.0 Flash garantiza que todos los componentes de un flujo de trabajo reconozcan cualquier tipo de datos y generen su salida con la misma estructura, lo que evita bloqueos, optimiza la ejecución y garantiza que incluso los flujos de trabajo de gran tamaño se completen de forma fiable.
• Generación dinámica de procesosGemini 2.0 Flash: además de ejecutar procesos predefinidos, Gemini 2.0 Flash también puede generar procesos dinámicamente. Un usuario puede escribir "Crear una campaña de marketing basada en esta descripción de producto" y Gemini 2.0 Flash generará los pasos (procesos) y componentes necesarios para construir un flujo de trabajo en el lienzo basado en la solicitud de alto nivel del usuario. Esta generación dinámica aporta un gran potencial para innovar la experiencia del usuario y agilizar los flujos de trabajo.

Ganancias rápidas en innovación

La rápida implementación de la informática en tldraw pone de relieve el valor de Gemini para las startups: creación rápida de prototipos, mejora de la experiencia de usuario mediante interfaces intuitivas en lenguaje natural y manejo eficaz de datos estructurados con modelos como Gemini 2.0 Flash. Esta combinación permite a los equipos pequeños crear capacidades de IA innovadoras de forma rápida y rentable.

"Queríamos demostrar que cualquier equipo puede construir proyectos ambiciosos utilizando el SDK de canvas de tldraw. gemini flash es un gran motor para una herramienta de flujo de trabajo rápida, multimodal y basada en canvas. Con Gemini 2.0, y un nombre mejor, estoy seguro de que podremos lanzar el equipo como una startup independiente."

-- Steve Ruiz, fundador de tldraw