Skyvern: automatización de flujos de trabajo basados en navegador con LLM y visión por ordenador

Introducción general

Skyvern es una herramienta de automatización de flujos de trabajo en navegadores que utiliza técnicas de visión por ordenador y de modelado de grandes lenguajes (LLM). Puede sustituir a soluciones de automatización frágiles o poco fiables proporcionando un punto final de API sencillo que puede automatizar eficazmente acciones manuales en un gran número de sitios web.Skyvern puede operar en sitios web que nunca se han visto antes, asignando automáticamente elementos visuales a las acciones necesarias para completar el flujo de trabajo sin necesidad de código personalizado.

Skyvern es un poco como BabyAGI y AutoGPT con capacidades de visión, donde múltiples agentes automatizan completamente el proceso de pensar y actuar sobre los objetivos de las tareas.

Experiencia Skyvern Online: https://www.skyvern.com/

Lista de características de Skyvern

• Automatización de los flujos de trabajo del navegador: Automatizar diversas tareas en el navegador mediante LLM y técnicas de visión por ordenador.
• Punto final de la API: Proporciona una interfaz API sencilla para facilitar la integración y las llamadas.
• No requiere código personalizado: No es necesario escribir scripts personalizados para cada sitio, adaptable.
• Resistirse a los cambios de diseño webNo depende de un XPath o selector fijo, y es capaz de hacer frente a los cambios en el diseño de la página.
• aplicación a gran escalaLa capacidad de aplicar un único flujo de trabajo a varios sitios.
• interacción inteligente: Razonamiento con LLM para manejar escenarios de interacción complejos.

Utilizar la ayuda

Proceso de instalación

1. Preparación medioambiental::
   • Asegúrese de tener instalado Python 3.11 o superior.
   • Instale la herramienta de gestión de dependencias Poetry.
   • Instale la base de datos PostgreSQL.
   • Instala el entorno Node.js.
   • Admite la implantación de Docker con un solo clic
2. clonar código fuente::

   git clone https://github.com/skyvern-ai/skyvern.git
   cd skyvern
   

3. Instalación de dependencias::

   ./setup.sh
   

4. Configuración de variables de entorno::
   • modificaciones .env introduzca la clave API y los parámetros de configuración necesarios.
5. Inicio de los servicios::

   docker-compose up -d
   

tarea de visualización

Cómo entender la información que muestra Skyvern

Visualización de resultados

Skyvern incluye una herramienta de visualización que le ayudará a comprender el rendimiento de sus tareas. En primer lugar, vaya a la página Historial de tareas y haga clic en cualquier tarea para verla.

plataforma

Cada acción realizada por Skyvern puede verse en el Visor de acciones y va acompañada de una captura del estado de la pantalla después de realizar la acción.

grabar (vídeo o audio)

Cada tarea de Skyvern contiene una grabación de toda la operación (de principio a fin). Para ver la grabación, haga clic en la pestaña Grabaciones.

Parámetros de la misión

Los parámetros de tarea son las entradas que usted proporciona a Skyvern, que incluyen URLs, reglas de extracción y cualquier otra información relevante.

Registro de diagnóstico

La pestaña Diagnósticos contiene información que Skyvern utiliza para el procesamiento, incluidas capturas de pantalla anotadas, capturas de pantalla de acciones, árboles de elementos, sugerencias, listas de acciones, HTML de páginas y solicitudes de Large Language Model (LLM) sin procesar.

flujo de trabajo

flujo de trabajo - Enlazar varias tareas

Un flujo de trabajo representa la vinculación de varios fragmentos de datos. Imagine invocar múltiples tareas sucesivamente, realizar lógica condicional, extraer datos a CSV, etc. Todas estas ideas serán soportadas en nuestra funcionalidad de flujo de trabajo.

Todos nuestros flujos de trabajo comienzan con YAML pero la nueva versión ofrece una interfaz gráfica que permite enlazar varios componentes para producir un resultado definido.

Módulos compatibles

1. TaskBlock: El magia Skyvern navega por los sitios web para realizar acciones y/o extraer información.
2. ForLoopBlock
3. CodeBlock
4. TextPromptBlock
5. DescargarToS3Block
6. CargarEnBloqueS3
7. SendEmailBlock
8. FileParserBlock

Entradas del bloque de tareas

1. URL (normalmente obligatorio). El punto de partida para el Agente Skyvern es, idealmente, el sitio web de destino que desea automatizar.
   • En la pantalla de flujo de trabajo, si esta entrada se deja en blanco, continuará donde se detuvo el nodo anterior. La finalidad del objetivo de navegación es establecer o restablecer el punto de inicio del agente.
   • Si ha iniciado sesión en un sitio en el primer bloque de tareas, es posible que desee dejar la URL en blanco en el segundo bloque para continuar después de haber iniciado sesión
2. Objetivos de navegación (normalmente obligatorio). Una descripción detallada de por dónde está navegando Skyvern y qué acciones está realizando. Una meta de navegación clara debe ser un único objetivo dividido en pasos. Evite proporcionar múltiples objetivos. Debe utilizar "COMPLETAR" para especificar la finalización del objetivo, o "TERMINAR" para abortar el objetivo.
   • El objetivo de navegación no se utiliza para cargar URLs; ¡pedir a Skyvern que "Visite el sitio A" en este campo no tendrá el efecto deseado!
   • La finalización de la operación hará que Skyvern explique por qué se ha detenido la navegación
   • Puede omitir este campo si sólo desea que Skyvern extraiga los datos sin navegar a otra ubicación
3. Objetivos de la extracción de datos (Opcional). ¿Hay algún dato extraído y devuelto por Skyvern aparte de la posición de navegación y las acciones de Skyvern? Unos buenos objetivos de extracción de datos deberían especificar qué datos devuelve Skyvern al usuario
   • Tenga en cuenta que la extracción de datos sólo tiene lugar después de que Skyvern haya finalizado la navegación.
4. Modo de extracción de la información (Opcional). Si tiene objetivos de extracción de datos, algunos usuarios pueden necesitar los datos en un formato específico para fines internos. La carga de navegación acepta la especificación de formato JSON para el formateo de los datos devueltos
5. Número máximo de pasos cubiertos (Opcional). Algunos usuarios quieren limitar los costes por el número de pasos de una tarea
6. Número máximo de reintentos (Opcional). Número de reintentos permitidos si falla un paso
7. Descarga completa y ya está (Opcional). Permitir que Skyvern complete las tareas tras la descarga del archivo
8. Sufijo del archivo (Opcional). Identificadores adjuntos a los archivos descargados
9. URL TOTP e identificador TOTP (Opcional). Si tienes un sistema interno que puede almacenar código TOTP para 2FA, esta URL llama a ese almacenamiento. El identificador asocia el código con la tarea, lo que es importante si está ejecutando varias tareas al mismo tiempo. Si desea configurar la adquisición de 2FA en un flujo de trabajo, la URL Póngase en contacto con nosotros.
10. parámetros (Opcional). Los parámetros son marcadores de posición personalizados que especifican la ejecución. Pueden ser parámetros de flujo de trabajo, pasados a través de una llamada API, o parámetros de salida tomados de un bloque de tarea anterior. Si se especifican, estos parámetros serán utilizados por Skyvern para ayudar a la navegación, rellenar formularios o influir aún más en las acciones en el sitio.

Flujo de uso de la API de tareas (ejemplo)

La API de tareas está totalmente documentada en

1. Creación de tareas::
   • Cree una tarea a través del punto final de la API, especificando la URL de destino y el objetivo de la operación.
   • Ejemplo de solicitud:

     {
     "url": "https://example.com",
     "navigation_goal": "填写表单并提交",
     "data_extraction_goal": "提取提交后的确认信息"
     }

2. Tareas de control::
   • Utilice la función de supervisión en tiempo real que ofrece Skyvern para ver cómo se están desarrollando las tareas.
   • Acceso a través del navegador http://localhost:8080 Vea las operaciones en tiempo real.
3. extracción de datos::
   • Especifique el modo de extracción de datos y el formato, y Skyvern extraerá y devolverá los datos automáticamente.
   • Ejemplo de solicitud:

     {
     "url": "https://example.com/data",
     "data_extraction_schema": {
     "name": "string",
     "email": "string",
     "phone": "string"
     }
     }

4. Descarga de archivos::
   • Especifique el destino de descarga del archivo y Skyvern lo descargará automáticamente y le proporcionará el enlace de descarga.
   • Ejemplo de solicitud:

     {
     "url": "https://example.com/files",
     "file_download_goal": "下载所有PDF文件"
     }

problemas comunes

• ¿Cómo se gestiona la autenticación? Skyvern admite varios métodos de autenticación, incluida la integración de gestores de contraseñas y la autenticación multifactor (2FA). Al crear una tarea, el navigation_payload Proporcione información de identificación.
• ¿Cómo se gestionan los flujos de trabajo complejos de varios pasos? Skyvern permite encadenar varias tareas en un flujo de trabajo, ejecutando cada tarea secuencialmente a través de puntos finales de API para completar procesos operativos complejos.