autoMate: uma ferramenta nativa que combina IA e RPA para automatizar tarefas de computador

Introdução geral

O autoMate é uma ferramenta de automação local de código aberto criada por yuruotong1 no GitHub, com AI+RPA (Artificial Intelligence + Robotic Process Automation) como seu principal recurso. Ela combina a compreensão inteligente de modelos de linguagem em grande escala com os recursos de execução de processos da RPA, permitindo que os usuários automatizem operações complexas simplesmente descrevendo tarefas em linguagem natural, como "organizar arquivos da área de trabalho" ou "gerar relatórios semanais". Com implementação local e segurança de dados, o autoMate é ideal para indivíduos ou equipes que precisam lidar com tarefas repetitivas de forma eficiente. O autoMate rompe a complexidade dos conjuntos de regras de RPA tradicionais e torna a automação mais inteligente e fácil de usar por meio de interações intuitivas orientadas por IA.

Lista de funções

• Execução de tarefas AI+RPAAutomatize fluxos de trabalho de várias etapas combinando o entendimento de IA com operações de RPA.
• entrada de linguagem naturalDescrição: Descreve tarefas em linguagem cotidiana sem programação ou configuração de regras.
• Análise do conteúdo da telaReconhecimento inteligente de elementos da interface para executar ações como clicar e digitar.
• modo de operação localExecuta-se off-line para garantir a privacidade dos dados.
• adaptação total da interfaceSuporte à operação de qualquer software ou página da Web.
• Suporte a vários modelosCompatível com os principais modelos de idiomas de grande porte, configuração flexível.
• Implementação em um cliqueSimplificação do processo de instalação e adaptação ao ambiente chinês.

Usando a Ajuda

Processo de instalação

O processo de instalação do autoMate é otimizado para a funcionalidade AI+RPA, a fim de garantir que os usuários comecem a trabalhar rapidamente. Veja abaixo as etapas detalhadas:

1. Preparação ambiental::
   • Instalar o Git: faça o download no site do Git.
   • Para instalar o Miniconda: visite o site oficial do Conda.
   • Verifique se seu sistema é compatível com o Python 3.12.
2. projeto de clonagem::
   • É executado no terminal:

     git clone https://github.com/yuruotong1/autoMate.git
     

   • Acesse o catálogo:

     cd autoMate
     

3. Criando o ambiente::
   • Crie e ative um ambiente Conda:

     conda create -n "automate" python=3.12
     conda activate automate
     

4. Instalação de dependências::
   • Implementação:

     pip install -r requirements.txt
     

   • Se for solicitado um conflito de versão, atualize o pip:

     pip install --upgrade pip
     

5. kit inicial::
   • Em execução:

     python main.py
     

   • acesso ao navegador http://localhost:7888/ Configure o modelo e a chave de API (se for necessário um modelo on-line).

Precauções de instalação

• Suporte a GPUSe estiver usando a aceleração de inferência de IA, certifique-se de que as versões do PyTorch e do CUDA sejam compatíveis, consulte o site do PyTorch.
• Compatível com chinês: Os caminhos chineses são suportados sem ajustes adicionais.

Como usar

A funcionalidade AI+RPA do autoMate opera por meio de uma interface de navegador, e o que se segue é um guia detalhado:

1. implementação do mandato da AI+RPA

• procedimento::
  1. show (um ingresso) http://localhost:7888/.
  2. Digite a tarefa na caixa de entrada, por exemplo, "Abra o Excel, crie uma tabela e preencha os dados de vendas de ontem".
  3. Clique em "Submit", a IA analisa o comando e a RPA executa a operação.
• Descrição funcional::
  • A IA é responsável por entender os requisitos complexos e a RPA faz as operações de interface, como clicar em botões e inserir dados.
  • Suporte a tarefas sequenciais, como "salvar formulário e enviar e-mail".
• Cenários de usoProcessamento automático de demonstrações financeiras, atualização em lote de bancos de dados.

2. entrada de linguagem natural

• procedimento::
  1. Digite um comando como "Abra seu navegador e pesquise por 'AI+RPA case'".
  2. A ferramenta inicia automaticamente o navegador e faz a pesquisa.
• Descrição funcional::
  • Não há necessidade de escrever scripts, a IA traduz a linguagem diretamente em etapas de ação.
  • Suporte a descrições vagas, como "Organizar arquivos recentes".
• delicadezaDescrição: Descreva em linguagem simples para evitar ambiguidade.

3. análise de conteúdo da tela

• procedimento::
  1. Ative o modo "Screen Recognition" (Reconhecimento de tela).
  2. Digite "Click the 'Save' button" (Clique no botão 'Salvar') e a ferramenta reconhecerá e funcionará.
• Descrição funcional::
  • A IA analisa os elementos da tela e a RPA executa cliques ou entradas precisas.
  • Pode lidar com interfaces dinâmicas, como pop-ups ou páginas da Web.
• Cenários de usoSoftware de login automático: Desativação em lote de notificações e software de login automático.

4. modo de operação local

• procedimento::
  • O padrão é o modo local, não é necessária nenhuma configuração.
  • Os dados são armazenados localmente autoMate.db Documentação.
• Descrição funcional::
  • Tanto a IA quanto a RPA são executadas localmente, sem necessidade de carregar dados.
  • Adequado para cenários de processamento de dados confidenciais.

5. adaptação total da interface

• procedimento::
  1. Digite "Abra o Word, digite 'minutes' e salve".
  2. A ferramenta é adaptada à interface do Word e executada.
• Descrição funcional::
  • Oferece suporte a operações entre softwares, como copiar do Excel para o Word.
  • Não depende de uma API específica e se baseia no reconhecimento visual.

6. suporte a vários modelos

• procedimento::
  1. Selecione o modelo (por exemplo, modelo local ou on-line) na página Settings (Configurações).
  2. Digite a chave da API (se estiver usando um modelo on-line).
  3. Salvar e reiniciar.
• Lista de suporte: Ver detalhes SUPPORT_MODEL.md.

Exemplo de processo de operação

Exemplo: agrupamento automático de dados do pedido

1. Digite: "Abra o software de gerenciamento de pedidos, exporte a lista de pedidos de ontem e salve-a em sua área de trabalho".
2. AI Understanding the Requirements, RPA Inicie o software, clique em Export and Save (Exportar e salvar).
3. Continue digitando: "Abra o Excel, importe os dados do pedido e classifique por valor".
4. A ferramenta importa o arquivo e conclui a classificação.

• no finalO processo inteiro é automatizado, da exportação ao agrupamento, em apenas alguns minutos.

problemas comuns

• falha na inicializaçãoVerificar a versão do Python (necessário 3.12) e a integridade da dependência.
• Erro de compreensão de IASimplifique as instruções ou ajuste os parâmetros do modelo.
• RPA Congestionamentos operacionaisVerifique se os recursos do sistema são suficientes ou mude o modo da CPU.

Recomendações de uso

• uso inicialTeste tarefas simples, como "abrir o bloco de notas".
• usuário avançadoExplorando o potencial da IA+RPA em conjunto com instruções de várias etapas.
• ajustar os componentes durante o testeVerifique os registros do diretório raiz para solucionar o problema.