Computer Use Preview - Herramienta de código abierto de Google para la automatización de navegadores con IA

¿Qué es la vista previa del uso del ordenador?

Ordenador Use Preview es la herramienta de automatización del navegador AI de código abierto de Google basada en el modelo Gemini, a través de comandos de lenguaje natural para lograr la interacción de la página web. Utilizando "captura de pantalla ¡ú análisis ¡ú ejecución" del proceso de reconocimiento visual , soporte para Playwright local y BrowserBase nube dos modos de funcionamiento , puede completar automáticamente la búsqueda , rellenar formularios y otras tareas . En comparación con las herramientas tradicionales de Selenium , no hay necesidad de localizar manualmente los elementos , pero hay limitaciones tales como una sola operación que toma 3-6 segundos y el alto costo de la llamada a la API.

Características de la vista previa del uso del ordenador

• comprensión del lenguaje natural: Comprensión de instrucciones en lenguaje natural mediante los modelos Gemini de Google o Vertex AI.
• Automatización del navegador: Utiliza Playwright para controlar el navegador, soporta inyección de URL inicial, reproducción de operaciones y gestión de interacciones con scripts, también soporta capturas de pantalla y depuración visual.
• Soporte multientorno: Admite entornos de navegador Playwright locales y Browserbase basados en la nube.
• Estructura modularFacilidad para sustituir modelos de backend, ampliar herramientas o integrar más backends de navegador.

Beneficios principales del uso del ordenador Vista previa

• Procesamiento de tareas complejas: Es compatible con la cascada de operaciones de varios pasos y la conciencia de bucle de estado, que puede identificar la diferencia entre el estado actual y el estado esperado y corregir la ruta de operación en escenarios complejos como saltos de página, retrasos de carga, ventanas emergentes de error, etc.
• Configuración flexibleAdmite tanto la API para desarrolladores Gemini como los servicios back-end Vertex AI, que los usuarios pueden alternar en función de sus necesidades.
• listo para usarGuía de instalación y configuración : Se proporcionan scripts de instalación completos y guías de configuración para que los usuarios puedan configurar rápidamente un entorno de automatización del navegador de AI.
• Alto rendimiento: En la prueba de referencia WebVoyager, la tasa de finalización de tareas es de hasta 69%, por delante de productos similares, y la latencia de respuesta se reduce en unos 50%, lo que proporciona una experiencia interactiva casi en tiempo real.
• estableEl mantenimiento de un alto grado de coherencia en tareas complejas de varios pasos reduce eficazmente el riesgo de "vuelco" de la misión.

¿Cuál es el sitio web oficial de Computer Use Preview?

• Repositorio GitHub:: https://github.com/google-gemini/computer-use-preview
• Dirección de la experiencia en línea:: https://gemini.browserbase.com/

A quién va dirigida la vista previa del uso del ordenador

• usuario individualVista Previa del Uso del Ordenador : Puedes utilizar Vista Previa del Uso del Ordenador para automatizar algunas tareas cotidianas repetitivas, como consultar el tiempo, comparar precios y organizar los favoritos de tu navegador, para ahorrar tiempo y energía.
• Equipo corporativoLas herramientas pueden utilizarse para automatizar algunos procesos empresariales, como el procesamiento por lotes de formularios, el seguimiento de la dinámica de la competencia, la generación automática de informes de trabajo, etc., para mejorar la eficacia y la precisión del trabajo.
• desarrolladoresConstruya y valide rápidamente prototipos de tareas web automatizadas con Computer Use Preview, acelerando el proceso de desarrollo.
• investigadorHerramientas: pueden utilizarse para realizar investigaciones en áreas relacionadas, como la automatización impulsada por IA, la interacción persona-ordenador, etc. También puede utilizarse como herramienta didáctica para ayudar a los estudiantes a comprender la aplicación de la IA en tareas de automatización.