Computer Use Preview - инструмент автоматизации браузера с открытым исходным кодом AI от Google

Что такое предварительный просмотр использования компьютера?

Компьютер Использование Preview является открытым исходным кодом Google AI браузера инструмент автоматизации на основе модели Gemini, через естественный язык команды для достижения веб-страницы взаимодействия. Используя "скриншот ¡ú анализ ¡ú выполнение" процесса визуального распознавания, поддержка Playwright локальной и BrowserBase облако два режима работы, может автоматически завершить поиск, заполнить формы и другие задачи. По сравнению с традиционными инструментами Selenium, нет необходимости вручную находить элементы, но есть ограничения, такие как одна операция занимает 3-6 секунд и высокая стоимость вызова API.

Особенности предварительного просмотра использования компьютера

• понимание естественного языка: Понимание инструкций на естественном языке с помощью моделей Google Gemini или Vertex AI.
• Автоматизация браузера: Используйте Playwright для управления браузером, поддерживайте ввод начального URL, воспроизведение операций и управление сценарным взаимодействием, также поддерживайте скриншоты и визуальную отладку.
• Поддержка нескольких сред: Поддерживает как локальную Playwright, так и облачную браузерную среду Browserbase.
• Модульная структура: Легко заменять модели бэкенда, расширять инструменты или интегрировать больше браузерных бэкендов.

Основные преимущества использования компьютера Предварительный просмотр

• Обработка сложных задач: Поддерживается многоступенчатый каскад операций и функция отслеживания состояния, которая позволяет определить разницу между текущим и ожидаемым состоянием и скорректировать траекторию работы в сложных сценариях, таких как переходы между страницами, задержки загрузки, всплывающие окна ошибок и т. д.
• Гибкая конфигурация: Поддерживает как Gemini Developer API, так и внутренние сервисы Vertex AI, между которыми пользователи могут переключаться в зависимости от своих потребностей.
• из коробки: Предоставляются полные сценарии установки и руководства по настройке, чтобы пользователи могли быстро настроить среду автоматизации браузера AI.
• Высокая производительность: В эталонном тесте WebVoyager скорость выполнения задач достигает 69%, опережая аналогичные продукты, а задержка отклика снижается примерно на 50%, обеспечивая интерактивность практически в реальном времени.
• стабильный: Поддержание высокой степени последовательности при выполнении сложных многоэтапных задач эффективно снижает риск "сворачивания" миссии.

Что такое официальный сайт Computer Use Preview?

• Репозиторий GitHub:: https://github.com/google-gemini/computer-use-preview
• Адрес онлайн-опыта:: https://gemini.browserbase.com/

Для кого предназначен предварительный просмотр использования компьютера

• индивидуальный пользователь: Вы можете использовать Computer Use Preview для автоматизации некоторых повторяющихся ежедневных задач, таких как проверка погоды, сравнение покупок и упорядочивание избранного в браузере, чтобы сэкономить время и энергию.
• Корпоративная командаИнструменты могут использоваться для автоматизации некоторых бизнес-процессов, таких как пакетная обработка форм, мониторинг динамики конкурентов, автоматическое создание рабочих отчетов и т. д., для повышения эффективности и точности работы.
• разработчики: Быстрое создание и проверка прототипов автоматизированных веб-задач с помощью Computer Use Preview, что ускоряет процесс разработки.
• научный сотрудникИнструменты могут быть использованы для проведения исследований в смежных областях, таких как автоматизация на основе ИИ, взаимодействие человека и компьютера и т. д. Он также может быть использован в качестве учебного инструмента, чтобы помочь студентам понять применение ИИ в задачах автоматизации.