tldraw computer: マルチモーダルモデルを使用して、コンテンツ生成ワークフローのためのフローチャート・ホワイトボードのコンポーネントをオーケストレーションする。

はじめに

tldraw computerは、自然言語計算のための無限のキャンバスを提供するためにtldrawが立ち上げた実験的プロジェクトです。ユーザーは、マルチモーダル言語モデルをランタイムとして、コンポーネントの作成と接続、データの生成と変換、命令の実行を行うことができる。このプラットフォームにより、ユーザーは様々なデータ処理や生成タスクのために、簡単な操作で複雑なワークフローを作成することができる。

Cエンドユーザーが製品のインテリジェントなボディフローを振り付けするための問題について考えてきたどのようなフォーム、バックル、DIFY実際には、主に開発者やプロのコンテンツクリエイターのための敷居は低くありませんする必要があります。今回のtldrawは新しい方向性を与える。キャンバスのリンクコンポーネントは、複雑なコンテキスト依存関係について、まだいくつかの不透明なロジック、または欠陥がありますが、Cエンドユーザーには十分です。

同様の機能を持つワークフロー・オーケストレーション・ツール(しかし、入力と出力のロジックはどれも同じではない）：

Glif: AIワークフローのコードフリー・オーケストレーション、テンプレート化された画像とHTMLの出力、Flux 1.1proの無料無制限使用

Takomo.ai: キャンバスのドラッグ＆ドロップによるマルチモーダルワークフローのためのコードフリーAIアプリ構築プラットフォーム

flowith：キャンバスをオーケストレーションしたAIチャットツール｜AI Intelligence Body

Refly：記事自動生成のための無料キャンバス上のプロセスオーケストレーションに基づくAIライティングプラットフォーム

機能一覧

• 無限のキャンバス：ユーザーが自由にコンポーネントを追加、接続できる無限に拡張可能なキャンバスを提供します。
• コンポーネント作成：ユーザーは、データ生成と変換のためのさまざまな機能コンポーネントを作成できます。
• ワークフロー管理：分岐やループを含む複雑なワークフローの作成、編集、管理をサポート。
• マルチモーダル言語モデル：高度なマルチモーダル言語モデルを使用して自然言語命令を実行します。
• サンプルプロジェクト: ユーザーがすぐに始められ、カスタマイズできるサンプルプロジェクトがあらかじめ用意されています。

ヘルプの使用

インストールと登録

1. https://computer.tldraw.com/。
2. 登録ページに入るには、"Get started "ボタンをクリックしてください。
3. Googleアカウントまたはメールアドレスで新規アカウントを登録するか、既存のアカウントでログインしてください。

コンポーネントの作成と使用

1. ログイン後、インフィニット・キャンバスの画面に入ります。
2. Create component "ボタンをクリックして、コンポーネントの種類を選択し、設定する。
3. コンポーネントをキャンバスにドラッグ＆ドロップし、連結線を使用してコンポーネントを連結してワークフローを形成します。
4. コンポーネントをクリックし、自然言語命令を入力し、マルチモーダル言語モデルを使用して命令を実行する。

ワークフローの管理

1. キャンバス上に複数のコンポーネントを作成し、連結線でワークフローを形成します。
2. コンテキストメニューやツールバーを使って、分岐やループの追加など、ワークフローの編集ができます。
3. ワークフローを保存すると、システムが自動的にプロジェクトを生成し、ユーザーはいつでも編集して実行することができます。

サンプルプロジェクト

1. ホームページの "Examples "ボタンをクリックし、構築済みのサンプルプロジェクトを選択します。
2. サンプルプロジェクトには、ストーリージェネレーター、シーケンサー、戦闘シミュレーターなどがあり、ユーザーが直接実行したりカスタマイズしたりできる。
3. サンプル・プロジェクトを編集し、あなた自身のプロジェクトとして保存して、さらに修正や最適化を加えてください。

ジェミニがtldrawの「自然言語コンピューティング」体験を強化

Gemini APIで自然言語インタラクションを解き明かす

ジェミニ APIは、開発者が高度なAI機能をアプリケーションに統合することを容易にし、ユーザーエクスペリエンスと機能性の新たな可能性を開く。この記事では、tldrawがGeminiを利用して、その新しいプロジェクトであるcomputerで革命的な「自然言語コンピューティング」体験をどのように構築したかを紹介する。スタートアップ企業が、彼らの新しいプロジェクトであるcomputerにおいて、革命的な「自然言語コンピューティング」体験を構築するためにGeminiをどのように活用できるかを示している。 ジェミニAPI tldrawチームは、Gemini 1.5 Flashを使用したコンピュータをリリースしようとしており、Gemini 2.0 Flashを使用した将来のバージョンのプロトタイピングを行っている。

tldrawはGemini APIを使用して、会話型AIのパワーをビジュアルプログラミングにもたらし、ユーザーが自然言語を通じてコンテンツを生成し、情報を処理することを可能にします。これにより、AIを中心とした、より直感的で効率的なユーザーエクスペリエンスのためのエキサイティングな機会が開かれ、ビジュアルコミュニケーションの境界が押し広げられる。

コンピューターを支えるビジョン

tldrawは、ユーザーにより自然なキャンバスとのインタラクションを提供することをビジョンに掲げ、図の作成を身近で直感的なものにすることに専念しています。創業者のスティーブ・ルイスは、tldrawのUnlimited Canvas SDKのパワーを活用し、ジェネレーティブAIを組み込んだダイナミックな作業環境を作りたいと考えていました。このビジョンは、ユーザーがテキスト、画像、コマンドのモジュールからワークフローを作成できる実験的アプリケーションであるcomputerの開発につながりました。実行時に、情報は1つのコンポーネントから次のコンポーネントへと流れ、各世代の出力は次の世代の入力として機能し、結果を生成するために分岐、ループ、反復が可能な強力なプロセスを作成します。

Gemini 2.0で構築する：コンピュータの徹底的な考察

tldrawのコンピュータは、キャンバス上の要素（テキストボックス、画像、オーディオクリップなど）を表す「コンポーネント」が相互に接続されたネットワーク上に構築されています。これらのコンポーネントは、データと変換の流れを視覚化する矢印によって接続されています。各コンポーネントには、関連する「プロセス」、つまり、接続されたコンポーネントからの入力に基づいて実行される命令のセットがあります。あるコンポーネントは、他の多くのコンポーネントからデータを受け取り、その出力データを他の多くのコンポーネント（それ自身でさえも）に渡すことができる！このコンポーネントベースのアーキテクチャは、Gemini 2.0 Flashのパワーとスピードと相まって、様々なタスクを処理できる高速で柔軟なシステムを作り出します。

tldrawのコンピュータは、テキスト生成（Gemini 2.0を使用）に基づくAIビジュアルプログラミングと画像生成モデルを組み合わせている。

ジェミニ2.0フラッシュ・プロトタイプがどのようにパフォーマンスを助けるように設計されているのかを紹介しよう：

• 高速プロセス実行Gemini 2.0 Flashは、処理を素早く実行することができます。例えば、"Instructions "コンポーネントには、"Write a short jingle"（短いジングルを作ろう）という内容が含まれているかもしれません。このコンポーネントがトリガーされると、再利用可能なステップバイステップのスクリプトが即座に生成され、どのような入力の組み合わせでもジングルスクリプトに変換することができます。そして、コンポーネントは現在の入力（例えば、"Text "コンポーネント内の "New AI Smart Gloves for Cats"）を組み合わせて、最終的な出力のプロンプトを生成し、この出力を別のリンクされた "Text "コンポーネントに渡し、プレゼンテーションに使用します。"コンポーネントに渡したり、Speech（音声合成用）、Image（視覚生成用）、その他のCommand"コンポーネントに渡す。
• 豊かな文脈と複数のモードtldrawのコンピュータの機能を最大限に活用するには、スピード、容量、能力が必要です。Gemini 2.0 Flashの大きなコンテキストウィンドウは、すべての入力を考慮に入れて出力を生成するために不可欠であり、画像とテキストプロンプト付きドキュメントの組み合わせをサポートします。
• 構造化データGemini 2.0 Flashの構造化されたJSON出力は、ワークフロー内のすべてのコンポーネントがあらゆるタイプのデータを認識し、同じ構造で出力を生成することを保証します。
• 動的プロセス生成Gemini 2.0 Flashは、定義済みのプロセスを実行するだけでなく、動的にプロセスを生成することもできます。ユーザーが「この商品説明に基づいてマーケティングキャンペーンを作成する」と入力すると、Gemini 2.0 Flashは、ユーザーのハイレベルなリクエストに基づいて、キャンバス上にワークフローを構築するために必要なステップ（プロセス）とコンポーネントを生成する。このダイナミックな生成は、ユーザーエクスペリエンスを革新し、ワークフローを合理化する大きな可能性をもたらす。

技術革新における迅速な勝利

tldrawにおけるコンピュータの迅速な実装は、新興企業にとってのGeminiの価値を浮き彫りにしています。すなわち、迅速なプロトタイピング、直感的な自然言語インターフェースによるユーザーエクスペリエンスの向上、Gemini 2.0 Flashのようなモデルによる構造化データの効率的な取り扱いです。この組み合わせにより、小規模なチームが革新的なAI機能を迅速かつコスト効率よく作成することが可能になります。

「gemini flashは、高速でマルチモーダルなキャンバスベースのワークフローツールのための素晴らしいエンジンです。Gemini 2.0と、より良い名前があれば、独立した新興企業としてコンピュータを立ち上げることができると確信しています。"

-- tldrawの創設者、スティーブ・ルイズ