コンピュータ利用プレビュー - GoogleのオープンソースAIブラウザ自動化ツール

コンピュータ使用プレビューとは？

コンピューター 使用プレビューは、Webページの対話を実現するために自然言語コマンドを介して、ジェミニモデルに基づいて、GoogleのオープンソースのAIブラウザ自動化ツールです。視覚認識プロセスの "スクリーンショット"、"分析"、"実行 "を使用して、操作のPlaywrightローカルとBrowserBaseクラウドの2つのモードをサポートし、自動的に検索を完了することができ、フォームやその他のタスクを記入する。従来のSeleniumツールと比較して、手動で要素を検索する必要はありませんが、1回の操作に3-6秒かかり、API呼び出しのコストが高いなどの制限があります。

コンピューター使用プレビューの特徴

• 自然言語理解Google GeminiモデルまたはVertex AIによる自然言語命令の理解。
• ブラウザ・オートメーションPlaywrightを使用してブラウザを制御し、初期URLインジェクション、操作再生、スクリプトによるインタラクション管理をサポートし、スクリーンショットとビジュアルデバッグもサポートします。
• マルチ環境対応ローカルのPlaywrightとクラウドベースのBrowserbaseブラウザ環境の両方をサポートします。
• モジュラー構造バックエンドモデルの置き換え、ツールの拡張、より多くのブラウザバックエンドとの統合が容易です。

コンピューター使用の主な利点 プレビュー

• 複雑なタスク処理ページジャンプ、ロード遅延、エラーポップアップなどの複雑なシナリオにおいて、現在の状態と期待される状態との差異を識別し、操作経路を修正することができます。
• フレキシブルな構成Gemini Developer APIとVertex AIの両方のバックエンドサービスをサポートしており、ユーザーは必要に応じて切り替えることができます。
• すぐに使える完全なインストールスクリプトとコンフィギュレーションガイドが提供され、ユーザーはAIブラウザオートメーション環境を素早くセットアップできます。
• 高性能WebVoyagerベンチマークテストでは、タスク完了率が最大69%と類似製品を上回り、応答待ち時間が約50%短縮され、ほぼリアルタイムのインタラクティブ体験を提供します。
• 厩舎複雑なマルチステップ・タスクにおいて高い一貫性を維持することは、ミッションの "ロールオーバー "のリスクを効果的に軽減する。

コンピュータ・ユース・プレビューの公式ウェブサイトは？

• GitHubリポジトリ:: https://github.com/google-gemini/computer-use-preview
• オンライン体験アドレス:: https://gemini.browserbase.com/

コンピュータ使用プレビューの対象者

• 個人ユーザーコンピューター使用プレビューを使えば、天気のチェック、比較ショッピング、ブラウザのお気に入りの整理など、毎日の繰り返し作業を自動化し、時間とエネルギーを節約することができます。
• コーポレートチーム帳票のバッチ処理、競合他社の動向監視、作業報告書の自動作成など、いくつかの業務プロセスを自動化し、作業効率と正確性を向上させるためにツールを使用することができます。
• 開発者自動化されたWebタスクのプロトタイプをComputer Use Previewで迅速に構築、検証し、開発プロセスを加速します。
• 研究員このツールは、AI駆動オートメーション、ヒューマンコンピュータインタラクションなどの関連分野の研究に使用できます。また、自動化タスクにおけるAIの応用を学生に理解させるための教育ツールとしても使用できます。