TankWork : un corps intelligent qui commande des ordinateurs par la voix et le texte et qui fournit un retour d'information vocal en temps réel.

Introduction générale

TankWork est un cadre d'agent de bureau open source conçu pour permettre à l'IA de percevoir et de contrôler votre ordinateur par le biais de la vision par ordinateur et de l'interaction au niveau du système. TankWork est particulièrement bien adapté aux développeurs et aux chercheurs pour les aider à créer des agents de bureau autonomes capables de comprendre, d'analyser et d'interagir avec des interfaces informatiques.

Liste des fonctions

• Contrôle direct par ordinateurLes commandes vocales et textuelles : Exécuter des opérations par des commandes vocales et textuelles
• Analyse de la vision par ordinateurTraitement du contenu de l'écran en temps réel
• interaction vocaleTraitement du langage naturel avec ElevenLabs
• Agents personnalisablesLes compétences et la personnalité : Configurer les personnalités et les compétences
• Retour d'information en temps réelMise à jour et enregistrement des données audiovisuelles

Utiliser l'aide

Processus d'installation

1. Conditions préalables à l'installation: :
   • Installer Anaconda (recommandé pour la gestion des dépendances)
   • Accès à un terminal/une invite de commande
2. entrepôt de clones: :

   git clone https://github.com/AgentTankOS/tankwork.git
cd tankwork

3. Installation des dépendances: :

   pip install --upgrade pip setuptools wheel
pip install -r requirements.txt

4. Environnement de configuration: :
   • Dans le répertoire racine du projet, créez le fichier.envDocumentation :

    cp .env.example .env
   

   • Ajoutez la clé et les paramètres de l'API au fichier.envDocumentation :

    GEMINI_API_KEY=your_api_key
   OPENAI_API_KEY=your_api_key
   ELEVENLABS_API_KEY=your_api_key
   ANTHROPIC_API_KEY=your_api_key
   ELEVENLABS_MODEL=eleven_flash_v2_5
   COMPUTER_USE_IMPLEMENTATION=tank
   COMPUTER_USE_MODEL=claude-3-5-sonnet-20241022
   COMPUTER_USE_MODEL_PROVIDER=anthropic
   NARRATIVE_LOGGER_NAME=ComputerUse.Tank
   NARRATIVE_MODEL=gpt-4o
   NARRATIVE_TEMPERATURE=0.6
   NARRATIVE_MAX_TOKENS=250
   LOG_LEVEL=INFO
   

5. lancer une application: :

   python main.py

Processus d'utilisation

1. Mode de contrôle PC: :
   • Contrôle d'un ordinateur par commande textuelle ou vocale.
   • Par exemple, vous pouvez dire "ouvrir le navigateur" ou taper "ouvrir le navigateur" pour lancer le navigateur.
2. Analyse de la vision par ordinateur: :
   • Traite le contenu de l'écran en temps réel, en reconnaissant les changements à l'écran et en y réagissant.
   • Par exemple, l'agent peut effectuer automatiquement une action prédéfinie lorsqu'une image spécifique apparaît à l'écran.
3. interaction vocale: :
   • Utilisez les capacités de traitement du langage naturel d'ElevenLabs pour interagir avec les agents par le biais de la voix.
   • Par exemple, vous pouvez demander à l'agent les conditions météorologiques actuelles et l'agent vous répondra vocalement.
4. Agents sur mesure: :
   • Configurer la personnalité et les compétences de l'agent pour répondre à des besoins spécifiques.
   • Par exemple, vous pouvez configurer un agent pour qu'il effectue une tâche spécifique à un moment précis, comme l'ouverture d'un client de messagerie à 8 heures du matin tous les jours.
5. Retour d'information en temps réel: :
   • L'agent fournira des mises à jour en temps réel et des journaux d'exploitation, à la fois audio et visuels, pour aider l'utilisateur à comprendre l'état actuel de l'exploitation.
   • Par exemple, lorsque l'agent exécute une commande, il informe l'utilisateur du résultat de l'opération par la voix.

Avec ces étapes, vous pouvez facilement installer et utiliser TankWork pour profiter pleinement de ses puissantes fonctionnalités pour contrôler et gérer votre ordinateur.