tldraw computer: использование мультимодальных моделей для оркестровки компонентов в досках с блок-схемами для рабочих процессов создания контента

Общее введение

tldraw computer - это экспериментальный проект, запущенный компанией tldraw с целью создания бесконечного холста для вычислений на естественном языке. Пользователи могут создавать и соединять компоненты, генерировать и преобразовывать данные, а также выполнять инструкции, используя мультимодальную языковую модель в качестве среды выполнения. Платформа позволяет пользователям создавать сложные рабочие процессы с помощью простых операций для различных задач по обработке и генерации данных.

Задумывались над проблемой, для C-end пользователей, чтобы хореография интеллектуального потока тела продукта должна быть какой формы, пряжки, DIFY на самом деле, порог не низкий, в основном для разработчиков и профессиональных создателей контента. На этот раз tldraw дает новое направление. Хотя в компоненте canvas link о сложных контекстных зависимостях все еще есть некоторые непрозрачные логики или дефекты, но для C-end пользователей этого достаточно.

Инструменты оркестровки рабочих процессов с аналогичными функциями(но ни одна из логик ввода и вывода не совпадает):

Glif: бескодовая оркестровка рабочих процессов ИИ, вывод шаблонизированных изображений и HTML, бесплатное неограниченное использование Flux 1.1pro

Takomo.ai: платформа для создания приложений ИИ без кода для мультимодальных рабочих процессов с помощью перетаскивания холста

flowith: инструмент для чата с искусственным интеллектом на холсте | AI Intelligence Body

Refly: платформа для написания статей с искусственным интеллектом, основанная на оркестровке процессов на свободном холсте для автоматического создания статей

Список функций

• Бесконечный холст: предоставляет бесконечно расширяемый холст, на котором пользователи могут свободно добавлять и соединять компоненты.
• Создание компонентов: пользователи могут создавать различные функциональные компоненты для генерации и преобразования данных.
• Управление рабочими процессами: поддержка создания, редактирования и управления сложными рабочими процессами, включая ветвления и циклы.
• Мультимодальные языковые модели: выполнение инструкций на естественном языке с помощью продвинутых мультимодальных языковых моделей.
• Примеры проектов: предоставляет готовые примеры проектов, с которыми пользователи могут быстро начать работу и настроить их под себя.

Использование помощи

Установка и регистрация

1. Посетите сайт https://computer.tldraw.com/.
2. Нажмите на кнопку "Начать", чтобы перейти на страницу регистрации.
3. Зарегистрируйте новый аккаунт с помощью учетной записи Google или адреса электронной почты или войдите в существующий аккаунт.

Создание и использование компонентов

1. После входа в систему перейдите на экран Infinite Canvas.
2. Нажмите кнопку "Создать компонент", чтобы выбрать тип компонента и настроить его.
3. Перетаскивайте компоненты на холст и используйте соединительные линии, чтобы связать компоненты вместе для создания рабочего процесса.
4. Нажмите на компонент, введите инструкцию на естественном языке и выполните ее с помощью мультимодальной языковой модели.

Управление рабочими процессами

1. Создайте несколько компонентов на холсте и сформируйте рабочий процесс с помощью соединительных линий.
2. Используйте контекстное меню или панель инструментов для внесения изменений в рабочий процесс, включая добавление ветвей и циклов.
3. Сохраните рабочий процесс, и система автоматически создаст проект, который пользователь сможет редактировать и запускать в любое время.

Образцы проектов

1. Нажмите кнопку "Примеры" на главной странице и выберите готовый пример проекта.
2. Среди примеров проектов - генератор сюжетов, секвенсор, симулятор боя и другие, которые пользователи могут запускать напрямую или настраивать под себя.
3. Отредактируйте пример проекта и сохраните его как свой собственный для дальнейшей модификации и оптимизации.

Gemini обеспечивает работу с "вычислениями на естественном языке" в tldraw

Разблокирование взаимодействия с естественным языком с помощью API Gemini

Близнецы API позволяют разработчикам легко интегрировать передовые возможности искусственного интеллекта в свои приложения, открывая новые возможности для пользовательского опыта и функциональности. В этой статье рассказывается о том, как компания tldraw использовала Gemini для создания революционного опыта "вычислений на естественном языке" в своем новом проекте, компьютере. Она показывает, как стартапы могут использовать Gemini для Gemini API и tldraw's canvas SDK для быстрой и легкой интеграции мощных функций искусственного интеллекта. Команда tldraw собирается выпустить компьютер, использующий Gemini 1.5 Flash, и разрабатывает прототип будущей версии, использующей Gemini 2.0 Flash.

tldraw использует Gemini API, чтобы привнести мощь разговорного ИИ в визуальное программирование, позволяя пользователям генерировать контент и обрабатывать информацию с помощью естественного языка. Это открывает захватывающие возможности для создания более интуитивного и эффективного пользовательского опыта с использованием ИИ, расширяя границы визуальной коммуникации.

Видение, лежащее в основе компьютера

Компания tldraw стремится сделать создание диаграмм доступным и интуитивно понятным, предлагая пользователям более естественный способ взаимодействия с холстом. Основатель компании Стив Руиз хотел использовать возможности Unlimited Canvas SDK от tldraw для создания динамичной рабочей среды, включающей генеративный искусственный интеллект. Это видение привело к созданию компьютера - экспериментального приложения, которое позволяет пользователям создавать рабочие процессы из модулей текста, изображений и команд. Во время работы информация перетекает от одного компонента к другому, при этом выход каждого поколения служит входом для следующего, создавая мощный процесс, который может ветвиться, циклиться и итерироваться для получения результатов.

Создание с помощью Gemini 2.0: углубленный взгляд на компьютер

Компьютер tldraw построен на сети взаимосвязанных "компонентов", представляющих элементы на холсте (текстовые поля, изображения, аудиоклипы и т. д.). Эти компоненты соединены стрелками, которые визуализируют поток данных и преобразований. Каждый компонент имеет связанный с ним "процесс", то есть набор инструкций, которые должны быть выполнены на основе входных данных от подключенных компонентов. Компонент может принимать данные от многих других компонентов и передавать свои выходные данные многим другим компонентам - даже самому себе! Эта компонентная архитектура в сочетании с мощностью и скоростью Gemini 2.0 Flash создает быструю и гибкую систему, способную решать самые разнообразные задачи.

Компьютер tldraw сочетает в себе визуальное программирование на основе искусственного интеллекта, основанное на генерации текста (с помощью Gemini 2.0), и модель генерации изображений.

Вот как прототип Gemini 2.0 Flash помогает повысить производительность:

• Молниеносное выполнение процессов: Gemini 2.0 Flash позволяет быстро выполнять процессы. Например, компонент "Инструкции" может содержать команду "Написать короткий джингл". При запуске компонент мгновенно генерирует набор многократно используемых пошаговых сценариев, которые могут преобразовать любую комбинацию входных данных в сценарий джингла. Затем компонент объединяет текущие входные данные (например, "Новые умные перчатки с искусственным интеллектом для кошек" в компоненте "Текст"), чтобы сгенерировать подсказку для окончательного вывода, и передает этот вывод другому связанному компоненту "Текст " для представления, или в другие связанные компоненты, такие как Speech (для преобразования текста в речь), Image (для визуальной генерации), или в другой компонент Command " компоненту для дальнейшего преобразования.
• Богатый контекст и множество режимовМаксимальное использование возможностей компьютера tldraw требует скорости, мощности и возможностей. Поскольку данные для каждого поколения предоставляются несколькими компонентами, большое контекстное окно Gemini 2.0 Flash необходимо для учета всех вводимых данных и генерации выходных данных, а также для комбинирования изображений и документов с текстовыми подсказками.
• Структурированные данныеСтруктурированный вывод JSON в Gemini 2.0 Flash гарантирует, что каждый компонент рабочего процесса распознает любой тип данных и генерирует вывод с одинаковой структурой, предотвращая остановки, оптимизируя выполнение и обеспечивая надежное завершение даже больших рабочих процессов.
• Динамическая генерация процессов: Помимо выполнения предопределенных процессов, Gemini 2.0 Flash может динамически генерировать процессы. Пользователь может набрать "Создать маркетинговую кампанию на основе описания этого продукта", и Gemini 2.0 Flash сгенерирует необходимые шаги (процессы) и компоненты для построения рабочего процесса на холсте на основе высокоуровневого запроса пользователя. Такая динамическая генерация открывает огромный потенциал для инновационного пользовательского опыта и оптимизированных рабочих процессов.

Быстрые победы в инновациях

Быстрое внедрение компьютера в tldraw подчеркивает ценность Gemini для стартапов: быстрое создание прототипов, улучшение пользовательского опыта благодаря интуитивно понятным интерфейсам на естественном языке и эффективная работа со структурированными данными с помощью таких моделей, как Gemini 2.0 Flash. Такая комбинация позволяет небольшим командам быстро и с минимальными затратами создавать инновационные возможности ИИ.

"Мы хотели показать, что любая команда может создавать амбициозные проекты, используя SDK canvas от tldraw. gemini flash - это отличный движок для быстрого, мультимодального, основанного на холсте инструмента для работы. С Gemini 2.0 и более удачным названием, я уверен, мы сможем запустить компьютер как независимый стартап".

-- Стив Руиз, основатель tldraw