Ordinateur Clevrr : Automatiser la manipulation intelligente du bureau avec la bibliothèque PyAutoGUI

Introduction générale

Clevrr Ordinateur est un projet open source qui vise à automatiser les opérations du système en utilisant la bibliothèque PyAutoGUI. Le projet est soutenu par Anthropique Clevrr Computer a été inspiré pour concevoir un agent automatisé qui effectue les tâches d'exploitation du système de l'utilisateur de manière précise et efficace. Clevrr Computer est capable d'automatiser les interactions avec le clavier, la souris et l'écran tout en garantissant la sécurité et la précision de chaque tâche. Le projet est actuellement en version bêta et les utilisateurs doivent être conscients des risques associés à son utilisation.

Les intelligences d'exploitation automatisées recommandées pour le bureau, introduites par Smart Spectrum :GLM-PC (Smart Spectrum Bull) est officiellement disponible en téléchargement interne, l'IA qui peut réellement contrôler l'ordinateur.

Liste des fonctions

• Automatiser les mouvements de la souris, les clics et les saisies au clavier
• Captures d'écran et fenêtres de gestion
• Traiter les erreurs avec élégance et fournir un retour d'information
• Exécute les tâches avec une précision maximale et évite les opérations involontaires.

Utiliser l'aide

Processus d'installation

1. Entrepôt de clonage :

   git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
   cd Clevrr-Computer

2. Installer la dépendance :

   pip install -r requirements.txt
   

3. Définition des variables d'environnement :
   commandant en chef (militaire) .env_dev Renommez le fichier en .envet ajoutez votre clé API et d'autres configurations :

   AZURE_OPENAI_API_KEY=<YOUR_AZURE_API_KEY>
   AZURE_OPENAI_ENDPOINT=<YOUR_AZURE_ENDPOINT_URL>
   AZURE_OPENAI_API_VERSION=<YOUR_AZURE_API_VERSION>
   AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=<YOUR_AZURE_DEPLOYMENT_NAME>
   GOOGLE_API_KEY=<YOUR_GEMINI_API_KEY>
   

Utilisation

1. Exécuter l'application :

   python main.py
   

   Par défaut, il utilisera le gémeaux et activer l'interface utilisateur flottante.

2. Paramètres facultatifs :
   • Sélection d'un modèle : vous pouvez sélectionner un modèle en passant par --model pour spécifier le modèle à utiliser. Les paramètres acceptables sont gemini peut-être openai.

     python main.py --model openai
     

   • IU flottante : Par défaut, l'IU du TKinter flotte et reste en haut de l'écran. Vous pouvez faire flotter l'interface utilisateur en passant la propriété --float-ui dénote 0 pour désactiver ce comportement.

     python main.py --float-ui 0
     

Fonction Opération Déroulement

L'ordinateur Clevrr fonctionne grâce à un agent d'intelligence artificielle multimodal qui s'exécute en arrière-plan avec un mécanisme de capture d'écran en continu pour comprendre ce qui se trouve à l'écran et effectuer les actions appropriées à l'aide de la bibliothèque PyAutoGUI. L'agent crée une chaîne de pensée basée sur la tâche et utilise la bibliothèque PyAutoGUI. get_screen_info pour obtenir des informations sur l'écran. L'outil prend une capture de l'écran actuel et utilise une grille pour marquer les coordonnées réelles de l'écran. L'agent utilise ensuite un LLM multimodal pour comprendre le contenu de l'écran et donner des réponses basées sur les questions de l'agent. Soutien à la chaîne de pensée get_screen_info et l'outil PythonREPLAst, qui est conçu pour effectuer des opérations à l'aide de la bibliothèque PyAutoGUI.

mise en garde

• Utilisez des machines virtuelles ou des conteneurs dédiés qui fonctionnent avec des privilèges minimaux afin d'éviter les attaques directes du système ou les accidents.
• Évitez de fournir au modèle des données sensibles, telles que des informations de connexion à un compte, afin d'éviter les fuites d'informations.
• Restreindre l'accès à Internet aux seuls domaines figurant sur la liste blanche afin de réduire l'exposition aux contenus malveillants.
• Une confirmation manuelle est nécessaire pour les décisions susceptibles d'avoir un impact pratique et pour les tâches qui nécessitent une confirmation, telles que l'acceptation de cookies, l'exécution de transactions financières ou l'acceptation de conditions de service.