DroidRun: инструмент с открытым исходным кодом для ИИ для автоматизации телефонов Android

Общее введение

DroidRun - это инструмент с открытым исходным кодом, позволяющий искусственному интеллекту управлять телефонами Android как люди. Он помогает ИИ автоматизировать такие задачи, как открытие приложений, отправка сообщений или просмотр веб-страниц путем извлечения интерактивных элементов, таких как экранные кнопки и поля ввода. DroidRun сочетает в себе визуальный парсинг и анализ структуры пользовательского интерфейса для точной и стабильной работы. DroidRun сочетает в себе визуальный парсинг и анализ структуры пользовательского интерфейса для точной и стабильной работы. Он поддерживает подключение собственных языковых моделей и совместим с широким спектром систем Android. Независимо от того, являетесь ли вы разработчиком, создающим ИИ-ассистента, или обычным пользователем, упрощающим работу с телефоном, DroidRun быстро запускается и готов к использованию прямо из коробки.

Список функций

• Извлекая элементы взаимодействия с экраном, ИИ может распознавать кнопки, текстовые поля и т. д.
• Поддерживаются автоматические нажатия, пролистывания и ввод с помощью искусственного интеллекта, имитирующие работу человека.
• Комбинируйте визуальный разбор и извлечение информации из пользовательского интерфейса для адаптации к сложным интерфейсам.
• Интеллектуальная обработка ошибок и автоматическое восстановление после прерывания задачи.
• Поддержка подключения к выбранным пользователем языковым моделям с высокой гибкостью.
• Запись действий пользователя для повторного выполнения одной и той же задачи.
• Совместим с Android 6.0 и выше, охватывая широкий спектр устройств.
• Предоставляет фреймворк с открытым исходным кодом и настраиваемыми функциями для разработчиков (скоро появится).

Использование помощи

Процесс установки

1. Посетите официальный сайт: Откройте браузер и введите https://www.droidrun.ai/.
2. Скачать приложения: На главной странице официального сайта нажмите кнопку "Скачать Android Portal APK" для загрузки. droidrun-portal.apk Размер файла составляет около 10 МБ.
3. Включение разрешений: Включите "Разрешить установку приложений из неизвестных источников" в разделе "Настройки > Безопасность" на телефоне Android. Путь может немного отличаться для разных мобильных телефонов.
4. Установите APK: Откройте файловый менеджер, найдите загруженный APK-файл и нажмите Установить. Процесс установки займет около 1 минуты.
5. Предоставление полномочий: Когда вы впервые откроете DroidRun, вам будет предложено включить "Службы доступности" и "Захват экрана". Нажмите на запрос, чтобы перейти на страницу настроек и включить соответствующие разрешения.
6. модель подключения: Внутри приложения введите API-ключ языковой модели (поддерживаются Gemini, ChatGPT, Grok и т. д.). Нажмите "Проверить", чтобы подтвердить успешное подключение.

Как использовать

По своей сути DroidRun позволяет искусственному интеллекту управлять телефоном вместо пользователя. Для этого он анализирует содержимое экрана и выполняет задачи автоматически. Ниже представлено подробное пошаговое руководство по основным функциям:

Функция 1: Автоматическое выполнение заданий мобильного телефона

• Создание заданий: Откройте DroidRun и нажмите на кнопку "Новая задача". Опишите задачу в поле ввода, например, "Откройте календарь и добавьте встречу на завтра в 10 утра". Чем конкретнее описание, тем точнее будет выполнение ИИ.
• Выберите модель: Перейдите в раздел Настройки > Языковые модели и выберите подключенную модель. Быстрые модели (например. Близнецы Flash) для простых задач и сложные модели (например, GPT-4) для многоэтапных операций.
• Выполнение заданийDroidRun захватывает экран в реальном времени и идентифицирует элементы интерфейса. На экране появляется синее выделение, отмечающее область, в которой в данный момент работает ИИ. Например, нажмите на значок календаря или введите название встречи.
• Результаты проверки: Когда задание будет выполнено, нажмите "Журнал", чтобы просмотреть подробности выполнения. В журнале будет записано каждое действие, например "Успешно нажал на значок календаря" или "Не удалось ввести текст". В случае неудачи вы можете изменить описание и повторить попытку.

Особенность 2: Анализ визуальной и пользовательской интеграции

• Функции включения: В разделе Настройки > Режим парсинга выберите Визуальный + Извлечение пользовательского интерфейса. Это позволит DroidRun анализировать как скриншоты, так и данные системного пользовательского интерфейса.
• Оперативно сложные интерфейсыВозьмем, к примеру, приложение для покупок: введите "открыть Jingdong, найти Bluetooth-наушники", и ИИ автоматически найдет поисковую строку, введет текст и нажмет кнопку поиска. Даже если в интерфейсе присутствует реклама, ИИ все равно сможет распознать целевые элементы.
• Оптимизированное распознаваниеЕсли ИИ промахивается, перейдите в "Настройки" > "Чувствительность распознавания" и отрегулируйте ползунок. При более высоких значениях предпочтение отдается визуальному разбору, при более низких - данным пользовательского интерфейса. Рекомендуемое значение по умолчанию - 50.
• Сохранить шаблон: Для часто используемых задач нажмите "Сохранить задачу". В следующий раз просто выберите шаблон, и AI выполнит его напрямую, без необходимости повторять ввод данных.

Функция 3: Интеллектуальная обработка ошибок

• спонтанное восстановление: Если во время выполнения задачи появляется всплывающее окно (например, реклама), DroidRun попытается закрыть его и продолжить выполнение. Например, при запуске "Открыть браузер" AI автоматически нажмет "Разрешить", если появится запрос на разрешение.
• ручное вмешательство: Если задача застопорилась, нажмите "Пауза". После ручной настройки телефона на нужный экран нажмите "Возобновить". Работа ИИ будет продолжена с текущего состояния.
• журнал ошибок: После каждого сбоя проверьте "журнал", чтобы выяснить причину, например, "Поисковая строка не найдена". При необходимости оптимизируйте описание задачи или настройки интерфейса.

Функция 4: Связывание пользовательских языковых моделей

• Добавление моделей: В разделе "Настройки > Языковые модели" введите ключ API; DroidRun поддерживает несколько моделей, поэтому нет необходимости в сложной настройке, просто вставьте ключ.
• тестовое соединение: Нажмите кнопку "Тест", чтобы убедиться, что модель работает правильно. После прохождения теста модель появится в списке выбора задач.
• Переключение моделей: Разные модели можно использовать для разных задач. Например, использование Grok Справляйтесь с простыми задачами и используйте GPT-4 для сложной логики.

Новые возможности

Согласно официальному сайту, следующие функции находятся в стадии разработки и должны появиться в ближайшее время:

• Отслеживание элементов: Записывайте элементы, на которые нажимает пользователь, и ИИ сможет в точности повторить это действие. Идеально подходит для пакетных задач, таких как массовые лайки или комментарии.
• управление ваучерами: Поддержка добавления паролей учетных записей или двойной аутентификации (2FA). Например, искусственный интеллект может автоматически входить в социальные приложения и вводить динамические коды проверки.
• Управление несколькими системами: Поддерживает одновременное управление несколькими устройствами Android, подходит для автоматизации на уровне предприятия или сценариев тестирования.

предостережение

• Совместимость с системой: DroidRun поддерживает Android 6.0 и выше. Некоторые новые функции (например, отслеживание элементов) могут потребовать Android 10 или выше.
• сетевые требования: Для подключения к языковой модели требуется стабильная сеть Wi-Fi или 4G. В автономном режиме поддерживаются только сохраненные локальные задания.
• Обслуживание разрешений: В некоторых мобильных телефонах (например, Huawei) функции доступности могут быть отключены в режиме энергосбережения. Регулярно проверяйте, включена ли функция "Настройки > Доступность".
• потребляемая мощность: Длительное выполнение задач увеличивает потребление энергии. Рекомендуется установить уровень заряда аккумулятора выше 30% или подключить зарядное устройство.

Поддержка разработчиков

DroidRun скоро будет доступен как фреймворк с открытым исходным кодом (лицензия MIT), а полный код будет доступен для разработчиков через GitHub. Официальная документация (Docs) и облачные сервисы (Cloud) также находится на стадии разработки, и в это время будут доступны интерфейсы API и руководства по развертыванию. Разработчики смогут настраивать поведение ИИ, например, интегрировать в определенные приложения или разрабатывать собственных помощников.

Следуя этим шагам, пользователи смогут быстро освоиться с DroidRun, который обеспечивает гибкую поддержку автоматизации как рутинных задач, так и сложных разработок.

сценарий применения

1. Упрощение ежедневных операций
   Пользователи могут автоматизировать повторяющиеся задачи с помощью DroidRun. Например, каждый день автоматически открывать приложение новостей, чтобы просмотреть заголовки или регулярно отправлять сообщения в социальных группах. ИИ точно определит интерфейс и сократит количество ручных нажатий.
2. Управление социальными сетями
   Практикующие селфи-медиаторы могут работать в пакетном режиме. Например, автоматически войти в Xiaohongshu, загрузить 10 изображений и разместить заметки. ИИ выполняет их последовательно, чтобы убедиться, что контент размещен без ошибок.
3. Разработка тестов приложений
   Разработчики могут использовать DroidRun для тестирования интерфейсов приложений. Например, смоделировать поиск и оформление заказа в приложении для электронной коммерции, засечь время отклика на каждый шаг и обнаружить потенциальные ошибки.
4. Извлечение и анализ данных
   Исследователь может автоматически фиксировать данные приложения. Например, откройте приложение Maps, найдите ближайший ресторан и сделайте снимок экрана с результатами. ИИ сохраняет данные для последующего анализа.
5. Планирование сложных задач
   Бизнес-пользователи могут разрабатывать многоэтапные процессы. Например, ИИ открывает почтовое приложение, скачивает вложение, загружает его на облачный диск, а затем отправляет подтверждающее сообщение, что подходит для межприкладной совместной работы.

QA

1. Какие устройства Android поддерживает DroidRun?
   Она совместима с Android 6.0 и выше, что позволяет использовать ее на большинстве мобильных телефонов и планшетов. Для наилучшего восприятия рекомендуется Android 10 или выше.
2. Нужны ли мне привилегии root?
   Нет. DroidRun использует вспомогательную службу, не нужно рутировать, просто установите ее и пользуйтесь.
3. Можно ли выполнять задания в автономном режиме?
   Сохраненные локально задания можно выполнять в автономном режиме, но для подключения к языковой модели требуется подключение к Интернету. Рекомендуется заранее сохранять часто используемые задания.
4. Как выбрать правильную языковую модель?
   Выберите быструю модель (например, Gemini Flash) для простых задач и продвинутую (например, GPT-4) для сложных. Официальный сайт будет обновлять список рекомендуемых моделей.
5. Как решается вопрос с провалом миссии?
   Проверьте журнал, чтобы подтвердить причину неудачи, например "Кнопка не найдена". Отрегулируйте описание или чувствительность и повторите попытку, либо вмешайтесь вручную и продолжите.
6. Когда будет доступна версия с открытым исходным кодом?
   Согласно официальному сайту, репозиторий на GitHub будет запущен в ближайшее время, точная дата будет объявлена позднее. Присоединяйтесь к сообществу Discord, чтобы получать последние обновления.