Clevrr Computer: automatizando a inteligência de manipulação da área de trabalho com a biblioteca PyAutoGUI

Introdução geral

Clevrr Computador é um projeto de código aberto que visa automatizar as operações do sistema usando a biblioteca PyAutoGUI. O projeto é apoiado por Antrópica O Clevrr Computer foi inspirado a projetar um agente automatizado que executa as tarefas de operação do sistema do usuário de forma precisa e eficiente. O Clevrr Computer é capaz de automatizar as interações de teclado, mouse e tela, garantindo a segurança e a precisão de cada tarefa. O projeto está atualmente em fase beta e os usuários devem estar cientes dos riscos associados ao seu uso.

Inteligências operacionais automatizadas recomendadas para desktops introduzidas pelo Smart Spectrum:O GLM-PC (Smart Spectrum Bull) foi oficialmente lançado para download interno, a IA que pode realmente controlar o computador

Lista de funções

• Automatize os movimentos do mouse, os cliques e a entrada do teclado
• Capturas de tela e janelas de gerenciamento
• Lidar com os erros de forma graciosa e fornecer feedback
• Executa tarefas com o máximo de precisão e evita operações não intencionais

Usando a Ajuda

Processo de instalação

1. Armazém de Clonagem:

   git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
   cd Clevrr-Computer

2. Instale a dependência:

   pip install -r requirements.txt
   

3. Configuração de variáveis de ambiente:
   comandante-em-chefe (militar) .env_dev Renomeie o arquivo para .enve adicione sua chave de API e outras configurações:

   AZURE_OPENAI_API_KEY=
   AZURE_OPENAI_ENDPOINT=
   AZURE_OPENAI_API_VERSION=
   AZURE_OPENAI_CHAT_DEPLOYMENT_NAME=
   GOOGLE_API_KEY=
   

Uso

1. Execute o aplicativo:

   python main.py
   

   Por padrão, isso usará o gêmeos e habilitar a IU flutuante.

2. Parâmetros opcionais:
   • Seleção de um modelo: você pode selecionar um modelo passando ---modelo para especificar o modelo a ser usado. Os parâmetros aceitáveis são gêmeos talvez openai.

     python main.py --model openai
     

   • IU flutuante: por padrão, a IU do TKinter flutuará e permanecerá na parte superior da tela. Você pode flutuar a IU passando o parâmetro --float-ui denotar 0 para desativar esse comportamento.

     python main.py --float-ui 0
     

Função Fluxo de operação

O Clevrr Computer funciona por meio de um agente de IA multimodal executado em segundo plano com um mecanismo contínuo de captura de tela para entender o que está na tela e executar as ações apropriadas usando a biblioteca PyAutoGUI. O agente cria uma cadeia de pensamento com base na tarefa e usa a biblioteca get_screen_info para obter informações sobre a tela. A ferramenta faz uma captura de tela da tela atual e usa uma grade para marcar as coordenadas reais da tela. Em seguida, o agente usa um LLM multimodal para entender o conteúdo da tela e dar respostas com base nas perguntas do agente. Suporte à cadeia de raciocínio get_screen_info e a ferramenta PythonREPLAst, que foi projetada para executar operações usando a biblioteca PyAutoGUI.

advertência

• Use máquinas virtuais dedicadas ou contêineres que sejam executados com privilégios mínimos para evitar ataques diretos ao sistema ou acidentes.
• Evite fornecer dados confidenciais, como informações de login de conta, ao modelo para evitar vazamento de informações.
• Restrinja o acesso à Internet somente a domínios da lista branca para reduzir a exposição a conteúdo malicioso.
• A confirmação manual é necessária para decisões que possam ter um impacto prático e para tarefas que exijam confirmação, como aceitar cookies, realizar transações financeiras ou concordar com os termos de serviço.