DroidRun: una herramienta de código abierto para que la IA automatice los teléfonos Android

Introducción general

DroidRun es una herramienta de código abierto que permite a la IA manejar teléfonos Android como los humanos. Ayuda a la IA a automatizar tareas como abrir aplicaciones, enviar mensajes o navegar por Internet extrayendo elementos interactivos como botones en pantalla y cuadros de entrada. DroidRun combina el análisis sintáctico visual y el análisis de la estructura de la interfaz de usuario para lograr un funcionamiento preciso y estable. Permite a los usuarios conectar sus propios modelos de lenguaje y es compatible con una amplia gama de sistemas Android. Tanto si eres un desarrollador que crea un asistente de inteligencia artificial como si eres un usuario ocasional que simplifica el funcionamiento de su teléfono, DroidRun se pone en marcha rápidamente y está listo para usarse nada más sacarlo de la caja.

Lista de funciones

• Extrayendo elementos de interacción de la pantalla, la IA puede reconocer botones, cuadros de texto, etc.
• Soporta AI auto-tap, swipe, y la entrada para simular la operación humana.
• Combine el análisis visual y la extracción de la interfaz de usuario para adaptarse a interfaces complejas.
• Gestión inteligente de errores y recuperación automática tras la interrupción de una tarea.
• Admite la conectividad con modelos lingüísticos seleccionados por el usuario con gran flexibilidad.
• Registrar las acciones del usuario para apoyar la ejecución repetida de la misma tarea.
• Compatible con Android 6.0 y superior, cubriendo una amplia gama de dispositivos.
• Proporciona un marco de código abierto con funciones personalizables para desarrolladores (próximamente).

Utilizar la ayuda

Proceso de instalación

1. Visite el sitio web oficialAbre tu navegador y escribe https://www.droidrun.ai/.
2. Descargar aplicaciones: En la página principal del sitio web oficial, haga clic en "Descargar Android Portal APK" para descargar. droidrun-portal.apk El archivo pesa unos 10 MB.
3. Habilitación de permisosHabilita "Permitir la instalación de aplicaciones de orígenes desconocidos" en "Ajustes > Seguridad" en tu teléfono Android. La ruta puede ser ligeramente diferente para distintos teléfonos móviles.
4. Instalar APKAbre el gestor de archivos, busca el archivo APK descargado y haz clic en Instalar. El proceso de instalación dura aproximadamente 1 minuto.
5. Otorgamiento de poderesCuando abras DroidRun por primera vez, se te pedirá que habilites los "Servicios de Accesibilidad" y la "Captura de Pantalla". Haga clic en el aviso para entrar en la página de configuración y habilitar los permisos pertinentes.
6. modelo de conectividadDentro de la aplicación, introduzca la clave API de su modelo lingüístico (Gemini, ChatGPT, Grok, etc. son compatibles). Haz clic en "Verificar" para confirmar que la conexión se ha realizado correctamente.

Cómo utilizarlo

En esencia, DroidRun permite que la IA maneje el teléfono en lugar del usuario. Lo hace analizando el contenido de la pantalla y realizando tareas automáticamente. A continuación encontrarás una guía detallada paso a paso de las principales funciones:

Función 1: Ejecución automática de tareas de telefonía móvil

• Creación de tareasAbra DroidRun y haga clic en "Nueva tarea". Describa la tarea en el cuadro de entrada, por ejemplo, "Abrir el calendario y añadir una reunión para mañana a las 10 am". Cuanto más específica sea la descripción, más precisa será la ejecución de la IA.
• Seleccionar modelo: Vaya a Ajustes > Modelos de idioma y seleccione el modelo conectado. Modelos rápidos (por ejemplo Géminis Flash) para tareas sencillas y modelos complejos (por ejemplo, GPT-4) para operaciones de varios pasos.
• Tareas en cursoDroidRun captura la pantalla en tiempo real e identifica los elementos de la interfaz. Aparece un resalte azul en la pantalla para marcar el área en la que la IA está actuando en ese momento. Por ejemplo, toca el icono del Calendario o introduce el título de una reunión.
• Resultados de la inspecciónRegistro: cuando la tarea se haya completado, haga clic en "Registro" para ver los detalles de la ejecución. En el registro se anotará cada acción, como "Se hizo clic con éxito en el icono del calendario" o "No se pudo introducir el texto". Si falla, puede ajustar la descripción y volver a intentarlo.

Función 2: Análisis de integración visual y de interfaz de usuario

• Funciones de habilitaciónEn Settings > Parsing Mode, selecciona Visual + UI Extraction. Esto permite a DroidRun analizar tanto las capturas de pantalla como los datos de interfaz de usuario del sistema.
• Interfaces operativas complejasPor ejemplo, en una aplicación de compras, escriba "abrir Jingdong, buscar auriculares Bluetooth", y la IA encontrará automáticamente el cuadro de búsqueda, introducirá el texto y pulsará el botón de búsqueda. Incluso si hay anuncios en la interfaz, la IA puede reconocer los elementos de destino.
• Reconocimiento optimizadoSi la IA falla, ve a Configuración > Sensibilidad de reconocimiento y ajusta el control deslizante. Los valores más altos favorecen el análisis visual, los valores más bajos dan prioridad a los datos de la interfaz de usuario. El valor por defecto recomendado es 50.
• Guardar plantillaPara tareas de uso frecuente, haz clic en "Guardar tarea". La próxima vez, basta con seleccionar la plantilla y AI la ejecutará directamente sin tener que repetir la entrada.

Función 3: Tratamiento inteligente de errores

• recuperación espontáneaSi encuentra una ventana emergente (por ejemplo, un anuncio) durante una tarea, DroidRun intentará cerrarla y continuar. Por ejemplo, cuando se ejecuta "Abrir navegador", AI automáticamente hará clic en "Permitir" si hay una solicitud de permiso.
• intervención manualSi la tarea está atascada, haz clic en "Pausa". Después de ajustar manualmente el teléfono a la pantalla correcta, haz clic en "Reanudar". La IA continuará desde el estado actual.
• registro de errores: Después de cada fallo, compruebe el "log" para averiguar el motivo, por ejemplo, "No se ha encontrado el cuadro de búsqueda". Optimice la descripción de la tarea o la configuración de la interfaz según se le pida.

Función 4: Vinculación de modelos lingüísticos personalizados

• Añadir modelos: En "Configuración > Modelos de Idioma", introduzca la clave API; DroidRun soporta múltiples modelos, por lo que no hay necesidad de una configuración compleja, sólo tiene que pegar la clave.
• conexión de pruebaHaga clic en "Probar" para asegurarse de que el modelo responde correctamente. Una vez superada la prueba, el modelo aparecerá en la lista de selección de tareas.
• Cambiar de modeloEl modelo de la empresa: se pueden utilizar distintos modelos para diferentes tareas. Por ejemplo, utilizando Grok Maneje tareas sencillas y utilice GPT-4 para la lógica compleja.

Próximas funciones

Según el sitio web oficial, las siguientes funciones están en desarrollo y se espera que estén disponibles en breve:

• Seguimiento de elementosRegistra los elementos pulsados por el usuario y AI puede repetir la acción exactamente. Ideal para tareas por lotes como likes o comentarios masivos.
• gestión de valesSoporte para añadir contraseñas de cuentas o doble autenticación (2FA). Por ejemplo, la IA puede iniciar sesión automáticamente en aplicaciones sociales e introducir códigos de verificación dinámicos.
• Gestión multisistemaAdmite el control simultáneo de varios dispositivos Android, lo que resulta idóneo para la automatización a nivel empresarial o los escenarios de pruebas.

advertencia

• Compatibilidad del sistemaDroidRun es compatible con Android 6.0 y versiones superiores. Algunas funciones nuevas (como el seguimiento de elementos) pueden requerir Android 10 o superior.
• requisitos de la red: Se requiere una red Wi-Fi o 4G estable para conectarse al modelo lingüístico. El modo sin conexión solo admite tareas locales guardadas.
• Mantenimiento de permisosAlgunos teléfonos móviles (por ejemplo, Huawei) pueden tener desactivadas las funciones de accesibilidad en el modo de ahorro de energía. Comprueba regularmente si "Ajustes > Accesibilidad" está activado.
• consumo de energía: Ejecutar tareas durante largos periodos de tiempo aumenta el consumo de energía. Se recomienda que el nivel de batería sea superior a 30% o que el cargador esté conectado.

Asistencia para desarrolladores

DroidRun estará pronto disponible como framework de código abierto (licencia MIT), con el código completo a disposición de los desarrolladores a través de GitHub. La documentación oficial (Docs) y los servicios en nube (Cloud), con interfaces API y guías de despliegue disponibles en ese momento. Los desarrolladores pueden personalizar el comportamiento de la IA, por ejemplo integrando aplicaciones específicas o desarrollando asistentes propios.

Siguiendo estos pasos, los usuarios pueden ponerse rápidamente al día con DroidRun, que proporciona soporte de automatización flexible tanto para tareas rutinarias como para desarrollos complejos.

escenario de aplicación

1. Simplificar las operaciones diarias
   Los usuarios pueden automatizar tareas repetitivas con DroidRun. Por ejemplo, abrir automáticamente la aplicación de noticias cada día para consultar titulares o enviar mensajes periódicos en grupos sociales. la IA identificará con precisión la interfaz y reducirá los toques manuales.
2. Gestión de redes sociales
   Los profesionales de los medios propios pueden operar por lotes. Por ejemplo, iniciar sesión automáticamente en Xiaohongshu, subir 10 imágenes y publicar notas. la IA las realiza en secuencia para garantizar que el contenido se publica sin errores.
3. Desarrollo de pruebas de aplicaciones
   Los desarrolladores pueden utilizar DroidRun para probar las interfaces de las aplicaciones. Por ejemplo, simule que los usuarios realizan búsquedas y pedidos en una aplicación de comercio electrónico, registre el tiempo de respuesta de cada paso y descubra posibles errores.
4. Extracción y análisis de datos
   El investigador puede capturar automáticamente los datos de la aplicación. Por ejemplo, abrir la app Mapas, buscar un restaurante cercano y hacer una captura de pantalla de los resultados.La IA guarda los datos para su posterior análisis.
5. Programación de tareas complejas
   Los usuarios empresariales pueden diseñar procesos de varios pasos. Por ejemplo, la IA abre la aplicación de correo, descarga el archivo adjunto, lo sube a una unidad en la nube y, a continuación, envía un mensaje de confirmación, lo que resulta idóneo para la colaboración entre aplicaciones.

CONTROL DE CALIDAD

1. ¿Con qué dispositivos Android es compatible DroidRun?
   Es compatible con Android 6.0 y superior, cubriendo la mayoría de los teléfonos móviles y tabletas. Se recomienda Android 10 o superior para disfrutar de la mejor experiencia.
2. ¿Necesito privilegios de root?
   No. DroidRun utiliza un servicio de ayuda, sin necesidad de root, sólo tiene que instalarlo y utilizarlo.
3. ¿Es posible ejecutar tareas sin conexión?
   Las tareas guardadas localmente pueden ejecutarse sin conexión, pero la conexión al modelo lingüístico requiere una conexión a Internet. Se recomienda guardar con antelación las tareas de uso frecuente.
4. ¿Cómo elegir el modelo lingüístico adecuado?
   Elija un modelo rápido (por ejemplo, Gemini Flash) para tareas sencillas y un modelo avanzado (por ejemplo, GPT-4) para tareas complejas. El sitio web oficial actualizará la lista recomendada.
5. ¿Cómo se gestiona el fracaso de una misión?
   Compruebe el registro para confirmar el motivo del fallo, por ejemplo, "Botón no encontrado". Ajuste la descripción o la sensibilidad y vuelva a intentarlo, o intervenga manualmente y continúe.
6. ¿Cuándo estará disponible la versión de código abierto?
   Según el sitio web oficial, el repositorio de GitHub se activará en breve, en una fecha que se anunciará más adelante. Únete a la comunidad de Discord para recibir las últimas actualizaciones.