プロジェクト・マリナー：ブラウザ・オートメーション、ヒューマン・コンピュータ・インタラクションの未来を探る研究プロトタイプ（未発表）

はじめに

Project Marinerは、Google DeepMindが人間とコンピュータのインタラクションの未来を探るために立ち上げた研究用プロトタイプである。このプロジェクトでは ジェミニ 2.0 強力なマルチモーダル理解と推論能力により、ブラウザ自動化を通じて様々なタスクを実行 プロジェクト Mariner は、複雑なウェブサイトをリアルタイムで理解し、ナビゲートすることが可能で、ユーザーの制御を維持しながら、ブラウザ内のタスクを自動化します。このプロジェクトは現在、信頼できる少数のベータ・テスターにのみ提供されており、その機能をテストし改善することを目的としています。

機能一覧

• マルチモーダル理解ピクセル、テキスト、コード、画像、フォームなど、ブラウザ画面上のすべてを理解できること。
• ブラウザ・インタラクション自動的にサイトをナビゲートし、操作し、ユーザーコマンドを実行します。
• 推理力複雑な命令を理解し、実行可能なステップに分解する能力。
• リアルタイム・フィードバックタスクが実行されると、視覚的なフィードバックと最新情報を提供する。
• 安全管理タスクを実行する際、ユーザーのコントロールを維持し、セキュリティを確保します。

ヘルプの使用

設置プロセス

1. エクステンションのダウンロードProject Marinerの公式ウェブサイトからChrome拡張機能をダウンロードし、インストールしてください。
2. アカウントの設定インストールが完了したら、Chromeを開き、拡張機能のアイコンをクリックし、プロンプトに従ってアカウントを設定し、サインインします。
3. テスター・キューに参加する信頼できるテスター・キューに参加するために必要な情報を入力してください。

使用プロセス

1. エクステンションの起動ログイン後、ブラウザ右上の拡張機能アイコンをクリックし、Project Marinerを起動します。
2. 入力ショッピングカートの作成」や「航空券の検索」などのコマンドをポップアップチャットウィンドウに入力します。
3. 操作するProject Marinerは自動的に関連ウェブサイトに移動し、タスクを実行します。ユーザーはブラウザ上でタスクの進捗状況をリアルタイムで確認できる。
4. フィードバックと調整Project Marinerは、より多くの情報が必要な場合や問題が発生した場合、チャットウィンドウでユーザーにフィードバックを要求します。ユーザーは必要に応じて追加指示を出したり、タスクを調整することができます。

主な機能

• ショッピングカートの作成ショッピングリストを入力すると、Project Marinerが自動的にショッピングサイトに移動し、商品を検索してショッピングカートに追加します。
• フライトとホテルの検索ご旅行の日程と目的地を入力すると、Project Marinerが自動的に関連するフライトとホテル情報を検索して表示します。
• レシピを探す食材名や料理名を入力すると、Project Marinerが自動的にレシピを検索して表示します。

注目の機能

• マルチモーダル理解Project Marinerは、テキスト、画像、フォームなど、ブラウザ画面上のさまざまな要素を理解し、処理することができます。
• リアルタイム・フィードバックタスクの実行中、Project Marinerはリアルタイムの視覚的フィードバックを提供し、ユーザーがタスクの進捗状況を確実に把握できるようにします。
• 安全管理プロジェクト・マリナーは、タスクの実行中にユーザーのコントロールを維持し、タスクの安全性と正確性を確保します。