Cua : Permettre aux agents d'intelligence artificielle d'exécuter des applications en toute sécurité dans les bacs à sable macOS/Linux

Introduction générale

Cua est un projet open source appelé Computer-Use Agent, prononcé "koo-ah". Il est conçu pour les appareils Apple Silicon, peut créer et exécuter des machines virtuelles macOS et Linux très performantes, à une vitesse proche de l'appareil natif de 90%. Cua utilise la technologie Virtualization.Framework d'Apple, tout en prenant en charge des agents d'intelligence artificielle dans l'environnement virtuel pour effectuer des tâches telles que la navigation sur le web, l'écriture de code. Le projet met l'accent sur l'isolation sécurisée et la protection du système principal de l'utilisateur. Il est disponible sur GitHub sous la licence MIT pour les développeurs, les passionnés de technologie et les chercheurs en IA.

Liste des fonctions

• Créer et exécuter des machines virtuelles macOS et Linux sur Apple Silicon.
• Fournit une virtualisation haute performance à une vitesse native pouvant atteindre 90%.
• Prise en charge du contrôle des machines virtuelles par des agents d'intelligence artificielle pour des opérations complexes telles que la navigation et l'encodage.
• Veillez à ce que les machines virtuelles soient complètement isolées du système principal pour des raisons de sécurité.
• Des outils de ligne de commande (Lume CLI) et des bibliothèques Python sont fournis pour faciliter la gestion des machines virtuelles et des agents d'intelligence artificielle.
• Prise en charge de l'intégration de modèles linguistiques multiples (LLM), par exemple OpenAI, Anthropic.
• Cadre open source qui permet aux utilisateurs de personnaliser les images et les fonctions des machines virtuelles.

Utiliser l'aide

L'installation et l'utilisation de Cua sont divisées en deux parties : la gestion des machines virtuelles (Lume CLI) et la fonctionnalité complète de l'agent AI. Voici les étapes détaillées.

exigences du système

• Appareil : Mac avec Apple Silicon (M1/M2/M3/M4).
• Système : macOS 14 (Sonoma) ou plus récent.
• Python : 3.10 ou supérieur (fonctionnalité d'agent d'intelligence artificielle uniquement).
• Espace disque : il est recommandé de disposer d'au moins 40 Go pour stocker les images des machines virtuelles.

Processus d'installation

Option 1 : Installer uniquement la CLI de Lume (gestion des machines virtuelles)

1. Ouvrez le terminal et assurez-vous que le réseau est ouvert.
2. Entrez la commande d'installation de Lume :

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)"

3. Une fois l'installation terminée, entrez lume --version Vérifiez la version pour vous assurer que l'installation a réussi.

Option 2 : Installer toutes les fonctionnalités de l'agent AI

1. Installez d'abord le CLI de Lume (comme dans les étapes ci-dessus).
2. Installer la bibliothèque Python :

pip install cua-computer cua-agent

3. Si vous avez besoin de plus de fonctionnalités, vous pouvez installer d'autres bibliothèques telles que :

pip install cua-core cua-computer-server cua-som pylume

Principales fonctions

Créer et faire fonctionner des machines virtuelles

1. Saisissez-le dans le terminal :

lume run macos-sequoia-vanilla:latest

Cette opération permet de télécharger et de lancer la machine virtuelle macOS Sequoia.
2) Au démarrage de la machine virtuelle, vous verrez un bureau séparé.
3. appuyer sur Ctrl+C Arrêter la machine virtuelle.

Utilisation de l'agent AI

1. Environnement de configuration
   Après avoir installé la bibliothèque de l'agent AI, créez .env ajouter la clé du modèle. Exemple :

OPENAI_API_KEY=你的密钥

2. exemple de fonctionnement
   Dans le site de GitHub notebooks Trouvez l'exemple de code dans le dossier, par exemple

• Ouvrez un terminal et exécutez le programme :

  python -m cua_agent.examples.basic_agent
  

• L'agent IA reconnaît l'interface VM à partir de la capture d'écran et exécute la tâche.

3. Tâches personnalisées
   Modifiez le script Python pour définir les actions spécifiques de l'agent, comme parcourir une page web ou cliquer sur un bouton.

Gestion des machines virtuelles

• Miroirs de liste: :

lume images

• Supprimer le miroir: :

lume rm macos-sequoia-vanilla:latest

Fonction en vedette Fonctionnement

Virtualisation haute performance

Cua utilise le Virtualisation.Framework d'Apple pour obtenir des performances quasi natives sans configuration supplémentaire. Les tests Geekbench montrent que la machine virtuelle peut atteindre 90% en mode natif.

isolement sécurisé

Le fonctionnement de l'agent d'intelligence artificielle n'affecte pas le système principal, ce qui permet de tester des codes ou des applications non sécurisés.

Intégration du LLM

Cua permet de connecter plusieurs modèles linguistiques. Les utilisateurs n'ont qu'à installer la bibliothèque correspondante et à configurer la clé. Par exemple, il suffit d'installer la bibliothèque correspondante et de configurer la clé :

• Utiliser Anthropic :

pip install "cua-agent[anthropic]"
export ANTHROPIC_API_KEY=你的密钥

Utilisation avancée

1. Voir le document
   Visitez le site de GitHub docs/Getting-Started.md peut-être libs/*/README.mdpour plus de détails sur l'utilisation.
2. Exécuter l'exemple du carnet de notes
   téléchargement notebooks dans le carnet Jupyter pour assister à une démonstration de l'agent d'intelligence artificielle en train de résoudre un problème GitHub ou de cloner une application.
3. Contribuer au code
   consultation CONTRIBUTING.mdVous pouvez également soumettre de nouvelles fonctionnalités ou résoudre des problèmes.

mise en garde

• Compatible uniquement avec Apple Silicon, non compatible avec les Mac Intel.
• Pour les images de machines virtuelles plus volumineuses (par exemple, macOS nécessite 20 à 30 Go), assurez-vous que vous disposez de suffisamment d'espace disque.
• Les agents d'intelligence artificielle doivent disposer d'un réseau stable et d'une clé API valide.

scénario d'application

1. Développement et test de logiciels
   Les développeurs utilisent Cua pour créer plusieurs machines virtuelles afin de tester des applications sur macOS et Linux.
2. Travail automatisé par l'IA
   Configurez un agent d'intelligence artificielle pour automatiser les tâches d'exploration de données web ou d'organisation de documents.
3. Éducation et expérimentation
   Des étudiants ou des chercheurs exécutent du code dans des environnements isolés pour apprendre des techniques de virtualisation ou d'intelligence artificielle.

QA

1. Quels sont les systèmes d'exploitation supportés par Cua ?
   macOS et Linux sont pris en charge, mais pas Windows.
2. Quelle est la vitesse d'exécution de la machine virtuelle ?
   90% quasi-natif, garanti par Apple Silicon et Virtualisation.
3. Comment puis-je rejoindre la communauté ?
   Visitez Discord (https://discord.com/invite/mVnXXpdE85) pour partager des idées ou demander de l'aide.