Projeto Mariner: automação do navegador, um protótipo de pesquisa que explora o futuro da interação humano-computador (não publicado)

Introdução geral

O Project Mariner é um protótipo de pesquisa lançado pelo Google DeepMind para explorar o futuro da interação humano-computador. O projeto utiliza Gêmeos 2.0 Poderosos recursos multimodais de compreensão e raciocínio para executar uma variedade de tarefas por meio da automação do navegador O Projeto Mariner é capaz de compreender e navegar em sites complexos da Web em tempo real, automatizando tarefas no navegador e mantendo o controle do usuário. No momento, o projeto está disponível apenas para um pequeno grupo de testadores beta confiáveis, com o objetivo de testar e aprimorar sua funcionalidade.

Lista de funções

• compreensão multimodalCapacidade de entender tudo o que está na tela do navegador, incluindo pixels, texto, código, imagens e formulários.
• Interação com o navegadorNavegação automática: navega e opera o site automaticamente, executando comandos do usuário.
• capacidade de raciocínioCapacidade de entender instruções complexas e dividi-las em etapas executáveis.
• Feedback em tempo realFornecer feedback visual e atualizações à medida que as tarefas são executadas.
• controle de segurançaControle do usuário: mantém o controle do usuário e garante a segurança durante a execução das tarefas.

Usando a Ajuda

Processo de instalação

1. Extensões de downloadVisite o site oficial do Project Mariner para fazer o download e instalar a extensão do Chrome.
2. Configurar uma conta: Após a conclusão da instalação, abra o Chrome, clique no ícone da extensão, siga as instruções para configurar sua conta e fazer login.
3. Entre na fila de testadoresPreencha as informações relevantes para se inscrever na fila de testadores confiáveis.

Processo de uso

1. Lançamento de extensões: Quando estiver conectado, inicie o Project Mariner clicando no ícone da extensão no canto superior direito do navegador.
2. entradaDigite comandos, como "Create Shopping Cart" (Criar carrinho de compras) ou "Find Flights" (Localizar voos) na janela pop-up de bate-papo.
3. operarO Project Mariner navegará automaticamente para o site relevante e executará a tarefa. O usuário pode visualizar o progresso da tarefa em tempo real no navegador.
4. Feedback e ajustesSe o Project Mariner precisar de mais informações ou encontrar um problema, ele solicitará feedback do usuário em uma janela de bate-papo. O usuário pode fornecer instruções adicionais ou ajustar as tarefas conforme necessário.

Funções principais

• Criar carrinho de comprasDigite sua lista de compras e o Project Mariner navegará automaticamente para os sites de compras, pesquisará e adicionará itens ao seu carrinho de compras.
• Encontre voos e hotéisDigite as datas e o destino de sua viagem e o Project Mariner pesquisará e exibirá automaticamente informações relevantes sobre voos e hotéis.
• Encontrar receitasDigite o nome de um ingrediente ou prato e o Project Mariner procurará e exibirá automaticamente a receita.

Funções em destaque

• compreensão multimodalO Project Mariner é capaz de entender e processar uma variedade de elementos na tela do navegador, incluindo texto, imagens e formulários.
• Feedback em tempo realO Project Mariner fornece feedback visual em tempo real durante a execução de uma tarefa, para garantir que o usuário esteja ciente do progresso da tarefa.
• controle de segurançaO Project Mariner mantém o controle do usuário durante a execução das tarefas, garantindo a segurança e a precisão da tarefa.