Runner H : automatisation des tâches d'exécution des pages web par des commandes en langage naturel (application pour les tests internes)

Introduction générale

Runner H est une entreprise qui se consacre au développement de modèles d'action de pointe conçus pour améliorer la productivité des travailleurs grâce à des capacités d'IA avancées. Son produit phare, Runner H, est un agent d'IA avancé conçu pour aider les utilisateurs à automatiser des tâches complexes à plusieurs étapes, en réduisant les répétitions et les saisies manuelles. Grâce à de simples commandes en langage naturel, Runner H peut concevoir et exécuter des processus d'automatisation web, améliorant ainsi considérablement l'efficacité des développeurs et des équipes en matière de tests web et d'automatisation des processus. Les technologies de base de Runner H comprennent la modélisation visuelle du langage (VLM) et la modélisation du langage à grande échelle (LLM), ce qui lui permet de comprendre et de s'adapter aux changements de l'interface utilisateur et de résoudre les problèmes automatiquement.

Liste des fonctions

• Automatisation des tâchesLes services d'automatisation du web : Éliminez le travail manuel en plusieurs étapes en automatisant la conception des processus d'automatisation du web grâce à des commandes en langage naturel.
• Aide à la décisionLes services d'aide à la décision : Fournir une aide à la décision intelligente pour aider les utilisateurs à prendre des décisions commerciales plus judicieuses.
• Adaptation de l'interfaceLes sélecteurs : Ils s'adaptent automatiquement aux modifications de l'interface utilisateur, ce qui réduit la complexité de la maintenance des sélecteurs.
• fonction d'autoréparationLes systèmes de gestion de l'information : capacité d'autorégénération pour réparer automatiquement les pannes d'automatisation dues à des changements d'interface.
• Plate-forme des développeursLa Commission européenne propose Studio, une plate-forme de développement qui prend en charge les processus automatisés de création, de révision et d'édition.
• Intégration de l'APILes API : Elles prennent en charge un large éventail de besoins en matière d'automatisation en appelant des agents fonctionnant dans le nuage via des API.

Utiliser l'aide

Installation et utilisation

1. Créer des processus automatisés: :
   • Une fois connecté, accédez à Developer Platform Studio.
   • Dans Studio, cliquez sur le bouton "Créer un nouveau processus" et saisissez le nom et la description du processus.
   • Utilisez des commandes en langage naturel pour décrire les tâches qui doivent être automatisées, telles que "Cliquez sur le bouton Ajouter au panier".
2. Édition et débogage: :
   • Après avoir créé un processus, vous pouvez visualiser et modifier chaque étape du processus dans Studio.
   • À l'aide des outils de débogage fournis avec la plate-forme, exécutez le processus et vérifiez s'il y a des erreurs.
   • Si le processus est interrompu, la fonction d'autoréparation permet de réparer automatiquement ou d'ajuster manuellement les étapes du processus.
3. Fonctionnement et suivi: :
   • Après l'édition et le débogage, enregistrez le processus et cliquez sur le bouton "Exécuter".
   • En cours de fonctionnement, vous pouvez surveiller l'exécution des processus en temps réel et consulter les journaux et les résultats.
4. Appel API: :
   • Pour ceux qui ont besoin de s'intégrer à d'autres systèmes, ils peuvent utiliser l'API fournie par H Company.
   • Générer des clés API sur la plateforme et se référer à la documentation API pour les appels d'intégration.

Principales fonctions

Automatisation des tâches

• Décrire la tâcheDans Studio, utilisez le langage naturel pour décrire les étapes d'une tâche qui doit être automatisée.
• Processus de générationLe système génère automatiquement le processus automatisé correspondant sur la base de la description.
• Débogage et optimisationLe processus : Exécuter le processus, vérifier les erreurs et procéder à des ajustements d'optimisation.

Aide à la décision

• saisie de donnéesLe système génère automatiquement des recommandations pour la prise de décision.
• Voir le rapportLes rapports de décision générés par le système peuvent être consultés et téléchargés à partir de la plateforme.

Adaptation de l'interface et autoréparation

• auto-adaptationLe système s'adapte automatiquement aux modifications apportées à l'interface web, ce qui réduit la nécessité de procéder à des ajustements manuels.
• fonction d'autoréparationEn cas d'interruption d'un processus, le système tente automatiquement de le réparer afin d'en assurer le bon déroulement.

Fonctions vedettes

• Modélisation du langage visuel (VLM)Le VLM de Runner H comprend et s'adapte aux changements de l'interface utilisateur, corrigeant automatiquement les problèmes et améliorant la stabilité des tâches automatisées.
• Modélisation des grandes langues (LLM)Les LLM de Runner H ont des capacités de programmation de base et de prise de décision de haut niveau qui leur permettent de gérer des tâches d'automatisation complexes.
• fonction d'autoréparationRunner H corrige automatiquement les problèmes causés par les modifications de l'interface utilisateur, réduisant ainsi le temps et le coût de la maintenance des tâches automatisées.

Faites travailler l'IA pour vous avec Runner H

Naviguer dans l'interface, lire et interpréter la documentation, cliquer sur les bons éléments, puis répéter ces actions. Actuellement, ces tâches sont effectuées par des humains tous les jours, parfois toute la journée.

La situation est différente aujourd'hui.

Aujourd'hui, nous sommes fiers de présenter Studio, une plateforme conçue pour les développeurs (et en fin de compte pour tout le monde) afin de créer facilement des processus automatisés prêts pour la production et très fiables à l'échelle.Studio est évolutif et continuera à se développer pour prendre en charge divers besoins d'automatisation et se généraliser au-delà du web.

Notre agent phare, Runner H, sera disponible en version bêta privée sur la plateforme. Grâce à de simples commandes en langage naturel, il automatise la conception des processus d'automatisation web, éliminant les opérations manuelles lourdes et multi-étapes et révolutionnant la façon dont les développeurs et les équipes abordent les tests web et l'automatisation des processus.

En tant que proxy web, Runner H offre des performances de pointe, surpassant l'indice de référence public WebVoyager sur le site AnthropiqueOrdinateur Utiliser (En savoir plus). Notre modèle de base interne - qui est plus petit, spécialisé et moins cher (peut-être de plusieurs ordres de grandeur) - peut surpasser les grands modèles à usage général lorsqu'il s'agit de fournir une assistance aux agents.

Nous sommes ravis de voir Runner H entrer dans l'ère des agents - des systèmes capables d'effectuer des tâches complexes en toute fiabilité. Si vous souhaitez vous joindre à nous, n'hésitez pas àS'inscrire sur la liste d'attente de la bêta privée.

Studio et coureur H 0.1

Les développeurs web passent souvent d'innombrables heures à maintenir des sélecteurs fragiles et à résoudre des problèmes de rupture d'automatisation causés par la nature en constante évolution des interfaces web modernes.

Runner H est notre agent web IA alimenté par Studio qui résout ces problèmes en s'adaptant automatiquement aux changements de l'interface utilisateur et en s'auto-réparant en comprenant les commandes en langage naturel.

Pendant que nos agents s'occupent de la complexité de l'écriture et de la maintenance des sélecteurs en coulisses, les développeurs peuvent se concentrer sur la partie sémantique du flux de travail et de la production, ce qui leur permet de consacrer plus de temps à des travaux de développement à plus forte valeur ajoutée.

Les prochaines versions de la bêta privée sont les suivantes

• Appeler des API d'agents prêtes à l'emploi et hébergées dans le nuage
• Studio pour la création d'automatismes, l'examen et l'édition du passé et l'exécution en temps réel

Dans Studio, vous pouvez créer des processus automatisés fiables pour des flux de travail complexes, tels que des tests de scénarios de commerce électronique de bout en bout (de la découverte du produit à la confirmation de la commande) et des processus d'intégration pour les services financiers (processus de validation pré-remplis en plusieurs étapes, téléchargements de documents et contrôles de conformité).

Une étape importante vers une grande vision : planifier, observer, exécuter et répéter.

Comparé aux méthodes traditionnelles telles que l'automatisation des écrans, le Runner H permet une automatisation du niveau de production plus fiable, plus efficace, plus facile et plus évolutive. Cela est dû aux réalisations de nos équipes d'ingénieurs et de chercheurs depuis la création de l'entreprise :

• Nous avons entraîné le meilleur modèle de langage visuel (VLM) du marché à prédire les coordonnées d'un clic de souris à partir d'une capture d'écran et d'une commande en langage naturel (par exemple, "cliquer sur le bouton Ajouter au panier"), et ses performances sont excellentes dans Screenspot, un benchmark qui se concentre sur les modèles de manipulation de l'interface utilisateur.
• Nous avons conçu le meilleur proxy web du marché pour les tâches ouvertes, et ses performances sont excellentes dans WebVoyager.

Pour en savoir plus sur les fondements de Runner H, sur notre VLM et sur le grand modèle de langage (LLM), voirici (littéraire).

La voie à suivre

À terme, nous envisageons un avenir où vous pourrez interagir avec Runner H aussi naturellement que vous interagissez avec vos collègues.

Ensuite, nous continuerons à progresser dans les domaines suivants :

• Amélioration de la précision et de la rentabilité grâce à des techniques complexes à grande échelle, notamment l'apprentissage par renforcement et la distillation
• Ajout de capacités de débogage et d'enseignement à Studio afin que les développeurs puissent former Runner H 0.1 pour qu'il excelle dans des tâches spécifiques.
• Promouvoir la communauté des développeurs par le biais d'un contenu technique, d'une assistance et d'événements
• Adhésion à des normes de sécurité de niveau entreprise pour garantir que Runner H 0.1 fonctionne de manière sûre et fiable (d'autres recherches sont à venir)

C'est notre première étape sur la voie de la démocratisation de l'agence. Chez H, nous sommes convaincus que la réduction de la complexité crée de l'espace pour l'innovation. Lorsque nous passons moins de temps sur des tâches subalternes, nous pouvons nous concentrer sur des objectifs significatifs et sur la créativité. Et lorsque nous laissons l'IA travailler pour nous, nous pouvons accomplir des tâches plus importantes.

Nous sommes impatients d'explorer les possibilités qui s'offrent à nous. Rejoignez-nous pour façonner l'avenir de l'automatisation du web.