Проект Mariner: автоматизация браузера, исследовательский прототип, изучающий будущее человеко-компьютерного взаимодействия (неопубликованный)

Общее введение

Project Mariner - это исследовательский прототип, запущенный компанией Google DeepMind для изучения будущего взаимодействия человека и компьютера. В проекте используется Близнецы 2.0 Мощные возможности мультимодального понимания и рассуждения для выполнения разнообразных задач с помощью автоматизации браузера Проект Mariner способен понимать и перемещаться по сложным веб-сайтам в режиме реального времени, автоматизируя задачи в браузере и сохраняя при этом контроль над пользователем. В настоящее время проект доступен только для небольшой группы доверенных бета-тестеров с целью тестирования и улучшения его функциональности.

Список функций

• мультимодальное понимание: Уметь понимать все, что находится на экране браузера, включая пиксели, текст, код, изображения и формы.
• Взаимодействие с браузером: Автоматическая навигация и работа с сайтом, выполнение команд пользователя.
• способность к рассуждению: Способность понимать сложные инструкции и разбивать их на выполнимые шаги.
• Обратная связь в режиме реального времени: Обеспечивать визуальную обратную связь и обновления по мере выполнения задач.
• контроль безопасности: Поддерживает контроль над пользователями и обеспечивает безопасность при выполнении задач.

Использование помощи

Процесс установки

1. Скачать расширения: Посетите официальный сайт Project Mariner, чтобы загрузить и установить расширение для Chrome.
2. Настройка учетной записи: После завершения установки откройте Chrome, щелкните на значке расширения, следуйте подсказкам, чтобы настроить учетную запись и войти в систему.
3. Присоединяйтесь к очереди тестеров: Заполните соответствующую информацию, чтобы подать заявку на вступление в очередь доверенных тестеров.

Процесс использования

1. Запуск расширений: После входа в систему запустите Project Mariner, нажав на значок расширения в правом верхнем углу браузера.
2. вход: Введите команды, такие как "Создать корзину" или "Найти рейсы", во всплывающем окне чата.
3. работать: Project Mariner автоматически перейдет на соответствующий веб-сайт и выполнит задание. Пользователь может наблюдать за ходом выполнения задачи в браузере в режиме реального времени.
4. Отзывы и корректировки: Если Project Mariner нуждается в дополнительной информации или сталкивается с проблемой, он запрашивает обратную связь у пользователя в окне чата. Пользователь может предоставить дополнительные инструкции или скорректировать задачи при необходимости.

Основные функции

• Создать корзину: Введите список покупок, и Project Mariner автоматически перейдет на торговые сайты, найдет и добавит товары в корзину.
• Поиск авиабилетов и отелей: Введите даты поездки и пункт назначения, и Project Mariner автоматически найдет и покажет информацию о соответствующих рейсах и отелях.
• Найти рецепты: Введите название ингредиента или блюда, и Project Mariner автоматически найдет и отобразит рецепт.

Основные функции

• мультимодальное понимание: Project Mariner способен понимать и обрабатывать различные элементы на экране браузера, включая текст, изображения и формы.
• Обратная связь в режиме реального времени: Во время выполнения задачи Project Mariner обеспечивает визуальную обратную связь в реальном времени, чтобы пользователь был в курсе хода выполнения задачи.
• контроль безопасности: Project Mariner сохраняет контроль над пользователем во время выполнения задач, обеспечивая безопасность и точность выполнения задания.