Project Mariner : browser automation, a research prototype exploring the future of human-computer interaction (non publié)

Introduction générale

Le projet Mariner est un prototype de recherche lancé par Google DeepMind pour explorer l'avenir de l'interaction homme-machine. Le projet utilise Gémeaux 2.0 De puissantes capacités de compréhension et de raisonnement multimodales pour effectuer une variété de tâches grâce à l'automatisation du navigateur Le projet Mariner est capable de comprendre et de naviguer sur des sites web complexes en temps réel, en automatisant des tâches dans le navigateur tout en conservant le contrôle de l'utilisateur. Le projet n'est actuellement accessible qu'à un petit groupe de bêta-testeurs de confiance, dans le but de tester et d'améliorer ses fonctionnalités.

Liste des fonctions

• compréhension multimodaleLes logiciels d'aide à la décision : être capable de comprendre tout ce qui se trouve sur l'écran du navigateur, y compris les pixels, le texte, le code, les images et les formulaires.
• Interaction avec le navigateurLe site Web : navigue et fonctionne automatiquement sur le site, en exécutant les commandes de l'utilisateur.
• capacité de raisonnementCapacité à comprendre des instructions complexes et à les décomposer en étapes exécutables.
• Retour d'information en temps réelLes tâches sont exécutées par le biais d'un retour d'information visuel et d'une mise à jour.
• contrôle de sécuritéLes tâches sont exécutées par l'utilisateur et la sécurité est assurée.

Utiliser l'aide

Processus d'installation

1. Télécharger les extensionsPour télécharger et installer l'extension Chrome, rendez-vous sur le site officiel du projet Mariner.
2. Création d'un compteUne fois l'installation terminée, ouvrez Chrome, cliquez sur l'icône de l'extension, suivez les instructions pour configurer votre compte et vous connecter.
3. Rejoindre la file d'attente des testeursPour plus d'informations, veuillez consulter le site web de la Commission européenne : Remplissez les informations pertinentes pour demander à rejoindre la file d'attente des testeurs de confiance.

Processus d'utilisation

1. Lancement des extensionsAprès vous être connecté, cliquez sur l'icône d'extension dans le coin supérieur droit de votre navigateur pour lancer le projet Mariner.
2. entréeLa fenêtre de chat : Saisissez des commandes, telles que "Créer un panier" ou "Trouver des vols" dans la fenêtre de chat contextuelle.
3. opérerLe Project Mariner naviguera automatiquement vers le site web approprié et exécutera la tâche. L'utilisateur peut voir la progression de la tâche en temps réel dans le navigateur.
4. Retour d'information et ajustementsSi le projet Mariner a besoin de plus d'informations ou rencontre un problème, il demandera à l'utilisateur de lui faire part de ses commentaires dans une fenêtre de discussion. L'utilisateur peut fournir des instructions supplémentaires ou ajuster les tâches si nécessaire.

Principales fonctions

• Créer un panier d'achatLe projet Mariner naviguera automatiquement vers les sites d'achat, recherchera les articles et les ajoutera à votre panier d'achat.
• Trouver des vols et des hôtelsProject Mariner : Entrez vos dates de voyage et votre destination et Project Mariner recherchera et affichera automatiquement les informations pertinentes sur les vols et les hôtels.
• Trouver des recettesLe Project Mariner recherchera et affichera automatiquement la recette en entrant le nom d'un ingrédient ou d'un plat.

Fonctions vedettes

• compréhension multimodaleLe navigateur de projet est capable de comprendre et de traiter une variété d'éléments sur l'écran du navigateur, y compris le texte, les images et les formulaires.
• Retour d'information en temps réelPendant l'exécution d'une tâche, le projet Mariner fournit un retour d'information visuel en temps réel pour s'assurer que l'utilisateur est conscient de la progression de la tâche.
• contrôle de sécuritéLe marin de projet maintient le contrôle de l'utilisateur pendant l'exécution des tâches, en assurant la sécurité et la précision de la tâche.