DroidRun: uma ferramenta de código aberto para IA para automatizar telefones Android

Introdução geral

O DroidRun é uma ferramenta de código aberto que permite que a IA opere telefones Android como se fossem humanos. Ele ajuda a IA a automatizar tarefas, como abrir aplicativos, enviar mensagens ou navegar na Web, extraindo elementos interativos, como botões na tela e caixas de entrada. O DroidRun combina análise visual e análise da estrutura da interface do usuário para uma operação precisa e estável. O DroidRun combina análise visual e análise da estrutura da interface do usuário para uma operação precisa e estável, além de permitir que os usuários conectem seus próprios modelos de linguagem e ser compatível com uma ampla gama de sistemas Android. Não importa se você é um desenvolvedor que está criando um assistente de IA ou um usuário casual que está simplificando a operação do seu telefone, o DroidRun é rápido de começar e está pronto para ser usado assim que sai da caixa.

Lista de funções

• Ao extrair elementos de interação da tela, a IA pode reconhecer botões, caixas de texto etc.
• Suporta toque automático, deslize e entrada de IA para simular a operação humana.
• Combine a análise visual e a extração da interface do usuário para se adaptar a interfaces complexas.
• Tratamento inteligente de erros e recuperação automática após a interrupção da tarefa.
• Oferece suporte à conectividade com modelos de idiomas selecionados pelo usuário com alta flexibilidade.
• Registre as ações do usuário para apoiar a execução repetida da mesma tarefa.
• Compatível com Android 6.0 e superior, abrangendo uma ampla gama de dispositivos.
• Fornece uma estrutura de código aberto com recursos personalizáveis para desenvolvedores (em breve).

Usando a Ajuda

Processo de instalação

1. Visite o site oficialAbra seu navegador e digite https://www.droidrun.ai/.
2. Baixar aplicativosNa página inicial do site oficial, clique em "Download Android Portal APK" para fazer o download. droidrun-portal.apk O arquivo tem cerca de 10 MB de tamanho.
3. Ativação de permissõesAtivar "Permitir a instalação de aplicativos de fontes desconhecidas" em "Configurações > Segurança" no seu telefone Android. O caminho pode ser ligeiramente diferente para celulares diferentes.
4. Instalar o APKAbra o Gerenciador de arquivos, localize o arquivo APK baixado e clique em Instalar. O processo de instalação leva cerca de 1 minuto.
5. Concessão de autoridadeQuando abrir o DroidRun pela primeira vez, será solicitado que você ative os "Serviços de acessibilidade" e a "Captura de tela". Clique na solicitação para acessar a página de configurações e ativar as permissões relevantes.
6. modelo de conectividadeNo aplicativo, insira sua chave de API do modelo de idioma (Gemini, ChatGPT, Grok etc. são compatíveis). Clique em "Verify" para confirmar uma conexão bem-sucedida.

Como usar

Em sua essência, o DroidRun permite que a IA opere o telefone em vez do usuário. Ele faz isso analisando o conteúdo da tela e executando tarefas automaticamente. Veja abaixo um guia passo a passo detalhado dos principais recursos:

Função 1: Execução automática de tarefas do telefone celular

• Criação de tarefasAbra o DroidRun e clique em "Nova tarefa". Descreva a tarefa na caixa de entrada, por exemplo, "Abra o calendário e adicione uma reunião para amanhã às 10h". Quanto mais específica for a descrição, mais precisa será a execução da IA.
• Selecione o modeloSelecione o modelo conectado: Vá para Configurações > Modelos de idioma e selecione o modelo conectado. Modelos rápidos (por exemplo Gêmeos Flash) para tarefas simples e modelos complexos (por exemplo, GPT-4) para operações em várias etapas.
• Execução de tarefasO DroidRun captura a tela em tempo real e identifica os elementos da interface. Um destaque azul aparece na tela para marcar a área em que a IA está operando no momento. Por exemplo, toque no ícone do Calendário ou digite o título de uma reunião.
• Resultados da inspeçãoQuando a tarefa for concluída, clique em "Log" para ver os detalhes da execução. O log registrará cada ação, como "Clicou no ícone do calendário com êxito" ou "Falha ao inserir texto". Se houver falha, você poderá ajustar a descrição e tentar novamente.

Recurso 2: Análise da integração visual e da interface do usuário

• Funções de ativaçãoEm Configurações > Modo de análise, selecione Visual + Extração de UI. Isso permite que o DroidRun analise as capturas de tela e os dados da interface do usuário do sistema.
• Interfaces operacionalmente complexasPor exemplo, em um aplicativo de compras, digite "abrir Jingdong, pesquisar fones de ouvido Bluetooth", e a IA encontrará automaticamente a caixa de pesquisa, digitará o texto e clicará no botão de pesquisa. Mesmo que haja anúncios na interface, a IA ainda pode reconhecer os elementos-alvo.
• Reconhecimento otimizadoSe a IA falhar, vá para Configurações > Sensibilidade de reconhecimento e ajuste o controle deslizante. Valores mais altos favorecem a análise visual, enquanto valores mais baixos priorizam os dados da interface do usuário. O valor padrão recomendado é 50.
• Salvar modeloPara tarefas usadas com frequência, clique em "Save Task" (Salvar tarefa). Na próxima vez, basta selecionar o modelo e o AI o executará diretamente sem precisar repetir a entrada.

Função 3: Tratamento inteligente de erros

• recuperação espontâneaJanela pop-up: Se você encontrar uma janela pop-up (por exemplo, um anúncio) durante uma tarefa, o DroidRun tentará fechá-la e continuar. Por exemplo, ao executar "Abrir navegador", a IA clicará automaticamente em "Permitir" se houver uma solicitação de permissão.
• intervenção manualSe a tarefa estiver travada, clique em "Pause" (Pausar). Depois de ajustar manualmente o telefone para a tela correta, clique em "Resume". A IA continuará a partir do estado atual.
• registro de errosApós cada falha, verifique o "registro" para descobrir o motivo, por exemplo, "Caixa de pesquisa não encontrada". Otimize a descrição da tarefa ou as configurações da interface, conforme solicitado.

Função 4: Vinculação de modelos de idiomas personalizados

• Adição de modelosEm "Settings > Language Models" (Configurações > Modelos de idioma), digite a chave da API; o DroidRun é compatível com vários modelos, portanto, não há necessidade de configuração complexa, basta colar a chave.
• conexão de testeClique em "Test" (Teste) para garantir que o modelo esteja respondendo corretamente. Quando o teste for aprovado, o modelo aparecerá na lista de seleção de tarefas.
• Modelos de comutaçãoModelos diferentes podem ser usados para tarefas diferentes. Por exemplo, usar Grok Lide com tarefas simples e use o GPT-4 para lógica complexa.

Próximos recursos

De acordo com o site oficial, os seguintes recursos estão em desenvolvimento e devem ser lançados em breve:

• Rastreamento de elementosGravação dos elementos clicados pelo usuário e a IA pode repetir a ação exatamente. Ideal para tarefas em lote, como curtidas ou comentários em massa.
• gerenciamento de vouchersSuporte para adicionar senhas de contas ou autenticação dupla (2FA). Por exemplo, a IA pode fazer login automaticamente em aplicativos sociais e inserir códigos de verificação dinâmicos.
• Gerenciamento de vários sistemasSuporte ao controle simultâneo de vários dispositivos Android, adequado para automação de nível empresarial ou cenários de teste.

advertência

• Compatibilidade do sistemaDroidRun é compatível com o Android 6.0 e superior. Alguns recursos novos (como o rastreamento de elementos) podem exigir o Android 10 ou superior.
• requisito de redeÉ necessário ter uma rede Wi-Fi ou 4G estável para se conectar ao modelo de idioma. O modo off-line suporta apenas tarefas locais salvas.
• Manutenção de permissõesAlguns telefones celulares (por exemplo, Huawei) podem ter os recursos de acessibilidade desativados no modo de economia de energia. Verifique regularmente se "Settings > Accessibility" (Configurações > Acessibilidade) está ativado.
• consumo de energia: A execução de tarefas por longos períodos de tempo aumenta o consumo de energia. Recomenda-se que o nível da bateria seja superior a 30% ou que o carregador esteja conectado.

Suporte ao desenvolvedor

Em breve, o DroidRun estará disponível como uma estrutura de código aberto (licença MIT), com o código completo disponível para os desenvolvedores via GitHub. A documentação oficial (Docs) e serviços em nuvem (Cloud) também está sendo preparado, com interfaces de API e guias de implantação disponíveis nesse momento. Os desenvolvedores podem personalizar o comportamento da IA, como a integração de aplicativos específicos ou o desenvolvimento de assistentes próprios.

Seguindo essas etapas, os usuários podem se familiarizar rapidamente com o DroidRun, que oferece suporte de automação flexível para tarefas de rotina e desenvolvimento complexo.

cenário do aplicativo

1. Simplifique as operações diárias
   Os usuários podem automatizar tarefas repetitivas com o DroidRun. Por exemplo, abrir automaticamente o aplicativo de notícias todos os dias para navegar pelas manchetes ou enviar mensagens regulares em grupos sociais. A IA identificará com precisão a interface e reduzirá os toques manuais.
2. Gerenciamento de mídia social
   Os profissionais de auto-mídia podem operar em lote. Por exemplo, faça login automaticamente no Xiaohongshu, carregue 10 imagens e publique notas. A IA as executa em sequência para garantir que o conteúdo seja publicado sem erros.
3. Desenvolvimento de testes de aplicativos
   Os desenvolvedores podem usar o DroidRun para testar interfaces de aplicativos. Por exemplo, simule usuários pesquisando e fazendo pedidos em um aplicativo de comércio eletrônico, registre o tempo de resposta de cada etapa e descubra possíveis bugs.
4. Extração e análise de dados
   O pesquisador pode capturar automaticamente os dados do aplicativo. Por exemplo, abra o aplicativo Maps, pesquise um restaurante próximo e faça uma captura de tela dos resultados.
5. Programação de tarefas complexas
   Os usuários corporativos podem criar processos de várias etapas. Por exemplo, a IA abre o aplicativo de e-mail, faz o download do anexo, carrega-o em uma unidade de nuvem e, em seguida, envia uma mensagem de confirmação, o que é adequado para a colaboração entre aplicativos.

QA

1. Quais dispositivos Android são compatíveis com o DroidRun?
   É compatível com o Android 6.0 e superior, abrangendo a maioria dos celulares e tablets. Recomenda-se o uso do Android 10 ou superior para obter a melhor experiência.
2. Preciso de privilégios de root?
   Não. O DroidRun usa um serviço auxiliar, não é necessário fazer o root, basta instalá-lo e usá-lo.
3. É possível executar tarefas off-line?
   As tarefas salvas localmente podem ser executadas off-line, mas a conexão com o modelo de idioma requer uma conexão com a Internet. Recomenda-se salvar antecipadamente as tarefas usadas com frequência.
4. Como escolher o modelo de linguagem correto?
   Escolha um modelo rápido (por exemplo, Gemini Flash) para tarefas simples e um modelo avançado (por exemplo, GPT-4) para tarefas complexas. O site oficial atualizará a lista de recomendações.
5. Como o fracasso da missão é tratado?
   Verifique o registro para confirmar o motivo da falha, por exemplo, "Botão não encontrado". Ajuste a descrição ou a sensibilidade e tente novamente, ou intervenha manualmente e continue.
6. Quando a versão de código aberto estará disponível?
   De acordo com o site oficial, o repositório do GitHub entrará no ar em breve, com data exata a ser anunciada. Participe da comunidade do Discord para receber as últimas atualizações.