tldraw 컴퓨터: 멀티모달 모델을 사용하여 콘텐츠 생성 워크플로우를 위한 순서도 화이트보드의 구성 요소를 오케스트레이션합니다.

2.2K 00

일반 소개

tldraw 컴퓨터는 자연어 연산을 위한 무한한 캔버스를 제공하기 위해 시작된 실험적인 프로젝트입니다. 사용자는 멀티모달 언어 모델을 런타임으로 사용하여 구성 요소를 생성 및 연결하고, 데이터를 생성 및 변환하고, 명령을 실행할 수 있습니다. 이 플랫폼을 통해 사용자는 다양한 데이터 처리 및 생성 작업을 위한 간단한 조작으로 복잡한 워크플로우를 만들 수 있습니다.

C- 엔드 사용자가 제품의 지능형 바디 흐름을 안무하기 위해 어떤 형태, 버클, DIFY가되어야하는지에 대한 문제에 대해 생각해 왔으며, 주로 개발자와 전문 콘텐츠 제작자에게는 문턱이 낮지 않습니다. 이번에 톨드로우는 새로운 방향을 제시합니다. 복잡한 컨텍스트 종속성에 대한 캔버스 링크 구성 요소에는 여전히 불투명한 로직이나 결함이 있지만 C- 엔드 사용자에게는 충분합니다.

유사한 기능을 갖춘 워크플로 오케스트레이션 도구(하지만 입력 및 출력 로직은 동일하지 않습니다):

Glif: 코드 없는 AI 워크플로우 오케스트레이션, 템플릿 이미지 및 HTML 출력, Flux 1.1pro 무료 무제한 사용 가능

Takomo.ai: 캔버스 드래그 앤 드롭을 통한 멀티모달 워크플로우를 위한 코드 없는 AI 앱 빌드 플랫폼입니다.

플로우이스: 캔버스 오케스트레이션 AI 채팅 도구 | AI 인텔리전스 바디

Refly: 자동화된 기사 생성을 위한 무료 캔버스에서 프로세스 오케스트레이션을 기반으로 하는 AI 글쓰기 플랫폼

tldraw computer：利用多模态模型在流程图白板中编排组件实现内容生成工作流

기능 목록

무한 캔버스: 사용자가 자유롭게 컴포넌트를 추가하고 연결할 수 있는 무한 확장 캔버스를 제공합니다.
컴포넌트 생성: 사용자는 데이터 생성 및 변환을 위한 다양한 기능의 컴포넌트를 만들 수 있습니다.
워크플로 관리: 브랜치 및 루프를 포함한 복잡한 워크플로의 생성, 편집 및 관리를 지원합니다.
다중 모드 언어 모델: 고급 다중 모드 언어 모델을 사용하여 자연어 명령을 실행합니다.
샘플 프로젝트: 사용자가 빠르게 시작하고 사용자 지정할 수 있는 사전 구축된 샘플 프로젝트를 제공합니다.

도움말 사용

설치 및 등록

https://computer.tldraw.com/ 방문하기.
'시작하기' 버튼을 클릭하여 등록 페이지로 들어갑니다.
Google 계정 또는 이메일 주소로 새 계정을 만들거나 기존 계정으로 로그인합니다.

컴포넌트 생성 및 사용

로그인한 후 무한 캔버스 화면으로 들어갑니다.
'컴포넌트 만들기' 버튼을 클릭하여 컴포넌트 유형을 선택하고 구성합니다.
구성 요소를 캔버스에 끌어다 놓고 연결선을 사용하여 구성 요소를 서로 연결하여 워크플로우를 형성합니다.
컴포넌트를 클릭하고 자연어 명령을 입력한 다음 다중 모드 언어 모델을 사용하여 명령을 실행합니다.

워크플로 관리

캔버스에 여러 구성 요소를 만들고 연결 선으로 워크플로우를 구성합니다.
상황에 맞는 메뉴 또는 도구 모음을 사용하여 브랜치 및 루프 추가를 포함하여 워크플로를 편집할 수 있습니다.
워크플로우를 저장하면 시스템이 자동으로 프로젝트를 생성하여 사용자가 언제든지 편집하고 실행할 수 있습니다.

샘플 프로젝트

홈 페이지에서 '예제' 버튼을 클릭하고 미리 빌드된 예제 프로젝트를 선택합니다.
샘플 프로젝트에는 스토리 제너레이터, 시퀀서, 전투 시뮬레이터 등이 포함되어 있으며 사용자가 직접 실행하거나 커스터마이징할 수 있습니다.
샘플 프로젝트를 편집하고 나만의 프로젝트로 저장하여 추가 수정 및 최적화를 진행하세요.

제미니는 tldraw의 '자연어 컴퓨팅' 경험을 강화합니다.

Gemini API로 자연어 상호작용 활용하기

쌍둥이자리 API를 사용하면 개발자가 고급 AI 기능을 애플리케이션에 쉽게 통합하여 사용자 경험과 기능에 대한 새로운 가능성을 열 수 있습니다. 이 문서에서는 tldraw가 Gemini를 사용하여 새로운 프로젝트인 컴퓨터에서 혁신적인 '자연어 컴퓨팅' 환경을 구축한 방법을 중점적으로 다룹니다. 스타트업이 Gemini를 활용하여 다음을 수행할 수 있는 방법을 보여줍니다. Gemini API 강력한 AI 기능을 빠르고 쉽게 통합할 수 있는 tldraw의 캔버스 SDK. tldraw 팀은 Gemini 1.5 플래시를 사용하는 컴퓨터 출시를 앞두고 있으며, Gemini 2.0 플래시를 사용하는 향후 버전을 프로토타입으로 제작하고 있습니다.

tldraw는 Gemini API를 사용하여 대화형 AI의 강력한 기능을 시각적 프로그래밍에 도입함으로써 사용자가 자연어를 통해 콘텐츠를 생성하고 정보를 처리할 수 있도록 지원합니다. 이를 통해 시각적 커뮤니케이션의 한계를 뛰어넘어 보다 직관적이고 효율적인 AI 사용자 경험을 제공할 수 있는 흥미로운 기회가 열립니다.

컴퓨터의 비전

tldraw는 사용자가 캔버스와 더 자연스럽게 상호작용할 수 있는 방법을 제공한다는 비전을 가지고 다이어그램 제작을 쉽고 직관적으로 만드는 데 전념하고 있습니다. 설립자 Steve Ruiz는 tldraw의 무제한 캔버스 SDK의 강력한 기능을 활용하여 제너레이티브 AI를 통합한 역동적인 작업 환경을 만들고자 했습니다. 이러한 비전은 사용자가 텍스트, 이미지, 명령어 모듈로 워크플로우를 만들 수 있는 실험적인 애플리케이션인 컴퓨터의 개발로 이어졌습니다. 런타임에 한 구성 요소에서 다음 구성 요소로 정보가 흐르고 각 세대의 출력이 다음 세대의 입력으로 사용되어 분기, 반복, 반복을 통해 결과를 생성할 수 있는 강력한 흐름이 만들어집니다.

Gemini 2.0으로 구축하기: 컴퓨터에 대한 심층적인 살펴보기

tldraw의 컴퓨터는 캔버스의 요소(텍스트 상자, 이미지, 오디오 클립 등)를 나타내는 상호 연결된 '구성 요소'의 네트워크를 기반으로 구축됩니다. 이러한 구성 요소는 데이터의 흐름과 변환을 시각화하는 화살표로 연결됩니다. 각 컴포넌트에는 연결된 컴포넌트의 입력에 따라 실행되는 일련의 명령어, 즉 연결된 '프로세스'가 있습니다. 하나의 컴포넌트는 다른 많은 컴포넌트로부터 데이터를 수신하고 출력 데이터를 다른 많은 컴포넌트, 심지어 자기 자신에게도 전달할 수 있습니다! 이러한 컴포넌트 기반 아키텍처는 Gemini 2.0 플래시의 성능과 속도와 결합하여 다양한 작업을 처리할 수 있는 빠르고 유연한 시스템을 만들어냅니다.

tldraw의 컴퓨터는 텍스트 생성(Gemini 2.0 사용)에 기반한 AI 시각 프로그래밍과 이미지 생성 모델을 결합합니다.

Gemini 2.0 플래시 프로토타입이 성능에 도움이 되도록 설계된 방법은 다음과 같습니다:

초고속 프로세스 실행Gemini 2.0 Flash를 사용하면 프로세스를 빠르게 실행할 수 있습니다. 예를 들어, "지침" 컴포넌트에는 "짧은 징글 작성"이 포함될 수 있습니다. 이 컴포넌트는 트리거되면 재사용 가능한 단계별 스크립트 세트를 즉시 생성하여 모든 입력 조합을 징글 스크립트로 변환할 수 있습니다. 그런 다음 컴포넌트는 현재 입력(예: "텍스트" 컴포넌트의 "고양이를 위한 새로운 AI 스마트 장갑")을 결합하여 최종 출력을 위한 프롬프트를 생성하고, 이 출력을 연결된 다른 "텍스트 "컴포넌트로 전달하거나, 음성(텍스트 음성 변환용), 이미지(시각적 생성용) 또는 기타 Command " 컴포넌트로 전달하여 추가 변환을 할 수 있습니다.
풍부한 컨텍스트와 다양한 모드tldraw의 컴퓨터 기능을 최대화하려면 속도, 용량, 기능이 필요합니다. 각 세대에 데이터를 제공하는 여러 구성 요소가 있는 Gemini 2.0 Flash의 대형 컨텍스트 창은 모든 입력을 고려하고 출력을 생성하는 데 필수적이며 이미지와 문서를 텍스트 프롬프트와 함께 조합할 수 있도록 지원합니다.
구조화된 데이터구성 요소 간의 데이터 흐름은 일관된 패턴을 따라야 합니다. Gemini 2.0 Flash의 구조화된 JSON 출력은 워크플로우의 모든 구성 요소가 모든 유형의 데이터를 인식하고 동일한 구조로 출력을 생성하여 중단을 방지하고 실행을 최적화하며 대규모 워크플로우도 안정적으로 완료할 수 있도록 보장합니다.
동적 프로세스 생성미리 정의된 프로세스를 실행하는 것 외에도 Gemini 2.0 Flash는 프로세스를 동적으로 생성할 수도 있습니다. 사용자가 "이 제품 설명을 기반으로 마케팅 캠페인 만들기"라고 입력하면 Gemini 2.0 Flash는 사용자의 높은 수준의 요청에 따라 캔버스에서 워크플로우를 구축하는 데 필요한 단계(프로세스)와 구성 요소를 생성합니다. 이 동적 생성 기능은 혁신적인 사용자 경험과 간소화된 워크플로우를 위한 큰 잠재력을 제공합니다.

혁신의 빠른 승리

신속한 프로토타이핑, 직관적인 자연어 인터페이스를 통한 향상된 사용자 경험, Gemini 2.0 Flash와 같은 모델을 통한 구조화된 데이터의 효율적인 처리 등 스타트업에게 Gemini의 가치는 더욱 부각됩니다. 이러한 조합을 통해 소규모 팀도 혁신적인 AI 기능을 빠르고 비용 효율적으로 개발할 수 있습니다.

"우리는 모든 팀이 tldraw의 캔버스 SDK를 사용하여 야심찬 프로젝트를 구축할 수 있다는 것을 보여주고 싶었습니다. Gemini Flash는 빠른 멀티모달 캔버스 기반 워크플로 도구를 위한 훌륭한 엔진입니다. Gemini 2.0과 더 나은 이름으로 독립적인 스타트업으로 시작할 수 있을 거라고 확신합니다."

-- 스티브 루이즈, tldraw 설립자