Skyvern : Automatisation des flux de travail par navigateur avec LLM et vision par ordinateur

Introduction générale

Skyvern est un outil d'automatisation des flux de travail des navigateurs qui utilise des techniques de modélisation du langage large (LLM) et de vision par ordinateur. Skyvern peut remplacer des solutions d'automatisation fragiles ou peu fiables en fournissant un point de terminaison API simple qui peut automatiser efficacement des actions manuelles sur un grand nombre de sites web. Skyvern peut fonctionner sur des sites web qui n'ont jamais été vus auparavant, en associant automatiquement les éléments visuels aux actions requises pour compléter le flux de travail sans avoir besoin d'un code personnalisé.

Skyvern est un peu comme BabyAGI et AutoGPT avec des capacités de vision, où plusieurs agents automatisent entièrement le processus de réflexion et d'action sur les objectifs de la tâche.

Expérience en ligne Skyvern : https://www.skyvern.com/

Liste des caractéristiques du Skyvern

• Automatiser les flux de travail des navigateursLe projet : Automatiser diverses tâches dans le navigateur grâce à des techniques de LLM et de vision par ordinateur.
• Point de terminaison de l'APILe système de gestion de l'information : Il fournit une interface API simple pour faciliter l'intégration et l'appel des données.
• Aucun code personnalisé n'est nécessaireLes services d'aide à la décision : Il n'est pas nécessaire d'écrire des scripts personnalisés pour chaque site, ils sont adaptables.
• Résister aux changements de mise en page des sites webIl ne dépend pas d'un XPath ou d'un sélecteur fixe et est capable de s'adapter aux changements de mise en page.
• application à grande échelleLa capacité d'appliquer un seul flux de travail à plusieurs sites.
• interaction intelligenteLe raisonnement avec LLM pour gérer des scénarios d'interaction complexes.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement: :
   • Assurez-vous que Python 3.11 et plus est installé.
   • Installer l'outil de gestion des dépendances Poetry.
   • Installer la base de données PostgreSQL.
   • Installer l'environnement Node.js.
   • Prise en charge du déploiement Docker en un clic
2. cloner le code source: :

   git clone https://github.com/skyvern-ai/skyvern.git
   cd skyvern
   

3. Installation des dépendances: :

   ./setup.sh
   

4. Configuration des variables d'environnement: :
   • modifications .env remplissez la clé API et les paramètres de configuration requis.
5. Démarrage des services: :

   docker-compose up -d
   

tâche de visualisation

Comment comprendre les informations affichées par Skyvern

Visualisation des résultats

Skyvern est livré avec un outil de visualisation qui vous aide à comprendre comment vos tâches se déroulent. Commencez par vous rendre sur la page Historique des tâches et cliquez sur n'importe quelle tâche pour l'afficher.

gréement

Chaque action effectuée par Skyvern peut être visualisée dans le visualiseur d'action et est accompagnée d'une capture d'écran de l'état de l'écran après l'exécution de l'action.

enregistrer (vidéo ou audio)

Chaque tâche Skyvern contient un enregistrement de l'ensemble de l'opération (de bout en bout). Pour visualiser l'enregistrement, cliquez sur l'onglet Enregistrements.

Paramètres de la mission

Les paramètres de la tâche sont les données que vous fournissez à Skyvern, notamment les URL, les règles d'extraction et toute autre information pertinente.

Journal de diagnostic

L'onglet Diagnostics contient des informations que Skyvern utilise pour le traitement, notamment des captures d'écran annotées, des captures d'écran d'action, des arbres d'éléments, des conseils, des listes d'actions, des pages HTML et des requêtes brutes de Large Language Model (LLM).

flux de travail

flux de travail - Lier plusieurs tâches entre elles

Un flux de travail permet de relier plusieurs blocs de données entre eux. Imaginez que vous invoquiez plusieurs tâches à la suite, que vous exécutiez une logique conditionnelle, que vous extrayiez des données au format CSV, etc. Toutes ces idées seront prises en charge par notre fonctionnalité de flux de travail.

Tous nos flux de travail commencent par YAML mais la nouvelle version fournit une interface graphique qui permet de relier plusieurs composants entre eux pour produire un résultat défini.

Modules pris en charge

1. TaskBlock : Le magie Skyvern navigue sur les sites web pour prendre des mesures et/ou extraire des informations.
2. ForLoopBlock
3. CodeBlock
4. Bloc de texte
5. DownloadToS3Block
6. UploadToS3Block
7. SendEmailBlock
8. FileParserBlock

Entrées du bloc de tâches

1. URL (généralement requis). Le point de départ de l'agent Skyvern est, idéalement, le site web cible que vous souhaitez automatiser.
   • Dans l'écran de flux de travail, si cette entrée est laissée vide, le processus se poursuivra là où le nœud précédent s'est arrêté. L'objectif de la cible de navigation est de définir ou de réinitialiser le point de départ de l'agent.
   • Si vous vous êtes connecté à un site dans le premier bloc de tâches, vous pouvez laisser l'URL vide dans le deuxième bloc pour continuer après vous être connecté
2. Objectifs de navigation (généralement requis). Une description détaillée de l'endroit où Skyvern navigue et des actions effectuées. Un objectif de navigation clair doit être un objectif unique divisé en étapes. Évitez de fournir plusieurs objectifs. Vous devez utiliser "COMPLETE" pour spécifier l'achèvement de l'objectif, ou "TERMINATE" pour abandonner l'objectif !
   • La cible de navigation n'est pas utilisée pour charger des URL ; demander à Skyvern de "Visiter le site A" dans ce champ n'aura pas l'effet escompté !
   • En terminant l'opération, Skyvern expliquera pourquoi la navigation s'est arrêtée.
   • Vous pouvez omettre ce champ si vous souhaitez seulement que Skyvern extraie des données sans naviguer vers un autre emplacement.
3. Objectifs de l'extraction de données (facultatif). Y a-t-il des données extraites et renvoyées par Skyvern autres que la position et les actions de navigation de Skyvern ? De bons objectifs en matière d'extraction de données devraient spécifier les données que Skyvern renvoie à l'utilisateur.
   • Veuillez noter que l'extraction des données n'a lieu qu'une fois que Skyvern a terminé la navigation !
4. Mode d'extraction des informations (facultatif). Si vous avez des objectifs d'extraction de données, certains utilisateurs peuvent avoir besoin des données dans un format spécifique à des fins internes. Le chargement de navigation accepte la spécification du format JSON pour le formatage des données renvoyées
5. Nombre maximal d'étapes couvertes (facultatif). Certains utilisateurs souhaitent limiter les coûts en fonction du nombre d'étapes d'une tâche
6. Nombre maximal de tentatives (facultatif). Nombre de tentatives autorisées en cas d'échec d'une étape
7. Téléchargement terminé et vous avez terminé (facultatif). Permettre à Skyvern d'effectuer des tâches après le téléchargement du fichier
8. Suffixe du fichier (facultatif). Identifiants attachés aux fichiers téléchargés
9. URL TOTP et identifiant TOTP (facultatif). Si vous disposez d'un système interne capable de stocker le code TOTP pour 2FA, cette URL appelle ce stockage. L'identifiant associe le code à la tâche, ce qui est important si vous exécutez plusieurs tâches en même temps. Si vous souhaitez configurer l'acquisition 2FA dans un flux de travail, l'URL Veuillez nous contacter.
10. paramètres (facultatif). Les paramètres sont des espaces réservés personnalisés qui spécifient l'exécution. Il peut s'agir de paramètres de flux de travail, transmis via un appel API, ou de paramètres de sortie provenant d'un bloc de tâches précédent. S'ils sont spécifiés, ces paramètres seront utilisés par Skyvern pour faciliter la navigation, remplir des formulaires ou influencer d'autres actions sur le site.

Flux d'utilisation de l'API des tâches (exemple)

L'API Tâches est entièrement documentée à l'adresse suivante

1. Création de tâches: :
   • Créer une tâche via le point de terminaison de l'API, en spécifiant l'URL cible et la cible de l'opération.
   • Exemple de demande :

     {
     "url": "https://example.com",
     "navigation_goal": "填写表单并提交",
     "data_extraction_goal": "提取提交后的确认信息"
     }

2. Suivi des tâches: :
   • Utilisez la fonction de surveillance en temps réel fournie par Skyvern pour voir comment les tâches se déroulent.
   • Accès par navigateur http://localhost:8080 Visualiser les opérations en temps réel.
3. extraction de données: :
   • Spécifiez le mode et le format d'extraction des données, et Skyvern extraira et renverra automatiquement les données.
   • Exemple de demande :

     {
     "url": "https://example.com/data",
     "data_extraction_schema": {
     "name": "string",
     "email": "string",
     "phone": "string"
     }
     }

4. Téléchargement de fichiers: :
   • Spécifiez la cible de téléchargement du fichier et Skyvern téléchargera automatiquement le fichier et fournira le lien de téléchargement.
   • Exemple de demande :

     {
     "url": "https://example.com/files",
     "file_download_goal": "下载所有PDF文件"
     }

problèmes courants

• Comment l'authentification est-elle gérée ? Skyvern prend en charge plusieurs méthodes d'authentification, y compris l'intégration d'un gestionnaire de mots de passe et l'authentification multifactorielle (2FA). Lors de la création d'une tâche, le champ navigation_payload Fournir des informations d'identification.
• Comment gérez-vous les flux de travail complexes en plusieurs étapes ? Skyvern permet d'enchaîner plusieurs tâches dans un flux de travail, en exécutant chaque tâche de manière séquentielle via des points de terminaison API afin d'achever des processus opérationnels complexes.