DroidRun: ein Open-Source-Tool für KI zur Automatisierung von Android-Telefonen

Allgemeine Einführung

DroidRun ist ein Open-Source-Tool, mit dem KI Android-Telefone wie Menschen bedienen kann. Es hilft der KI, Aufgaben wie das Öffnen von Apps, das Versenden von Nachrichten oder das Surfen im Internet zu automatisieren, indem es interaktive Elemente wie Schaltflächen und Eingabefelder auf dem Bildschirm extrahiert.DroidRun kombiniert visuelles Parsing und UI-Strukturanalyse für einen genauen und stabilen Betrieb. DroidRun kombiniert visuelles Parsing und UI-Struktur-Analyse für einen präzisen und stabilen Betrieb. Es unterstützt Benutzer, ihre eigenen Sprachmodelle zu verbinden und ist mit einer breiten Palette von Android-Systemen kompatibel. Egal, ob Sie ein Entwickler sind, der einen KI-Assistenten entwickelt, oder ein Gelegenheitsnutzer, der die Bedienung seines Telefons vereinfachen möchte, DroidRun ist schnell einsatzbereit und kann sofort verwendet werden.

Funktionsliste

• Durch die Extraktion von Bildschirminteraktionselementen kann die KI Schaltflächen, Textfelder usw. erkennen.
• Unterstützt automatisches Tippen, Streichen und Eingeben, um die menschliche Bedienung zu simulieren.
• Kombinieren Sie visuelles Parsing und UI-Extraktion zur Anpassung an komplexe Schnittstellen.
• Intelligente Fehlerbehandlung und automatische Wiederherstellung nach einer Aufgabenunterbrechung.
• Unterstützt die Anbindung an benutzerdefinierte Sprachmodelle mit hoher Flexibilität.
• Aufzeichnung von Benutzeraktionen zur Unterstützung der wiederholten Ausführung der gleichen Aufgabe.
• Kompatibel mit Android 6.0 und höher, für eine breite Palette von Geräten.
• Bietet ein Open-Source-Framework mit anpassbaren Funktionen für Entwickler (in Kürze).

Hilfe verwenden

Einbauverfahren

1. Besuchen Sie die offizielle Website: Öffnen Sie Ihren Browser und geben Sie https://www.droidrun.ai/.
2. Apps herunterladenAuf der Homepage der offiziellen Website klicken Sie auf "Download Android Portal APK", um das Programm herunterzuladen. droidrun-portal.apk Die Datei ist etwa 10 MB groß.
3. Aktivieren von BerechtigungenAktivieren Sie "Installation von Apps aus unbekannten Quellen zulassen" unter "Einstellungen > Sicherheit" auf Ihrem Android-Handy. Der Pfad kann bei verschiedenen Mobiltelefonen leicht unterschiedlich sein.
4. APK installierenÖffnen Sie den Dateimanager, suchen Sie die heruntergeladene APK-Datei und klicken Sie auf Installieren. Der Installationsvorgang dauert etwa 1 Minute.
5. Erteilung der VollmachtWenn Sie DroidRun zum ersten Mal öffnen, werden Sie aufgefordert, "Zugänglichkeitsdienste" und "Bildschirmaufnahme" zu aktivieren. Klicken Sie auf die Aufforderung, um die Einstellungsseite zu öffnen und die entsprechenden Berechtigungen zu aktivieren.
6. KonnektivitätsmodellInnerhalb der App geben Sie Ihren Sprachmodell-API-Schlüssel ein (Gemini, ChatGPT, Grok usw. werden unterstützt). Klicken Sie auf "Verify", um eine erfolgreiche Verbindung zu bestätigen.

Wie zu verwenden

Im Kern lässt DroidRun die KI das Telefon anstelle des Benutzers bedienen. Dies geschieht durch die Analyse des Bildschirminhalts und die automatische Ausführung von Aufgaben. Im Folgenden finden Sie eine detaillierte Schritt-für-Schritt-Anleitung zu den wichtigsten Funktionen:

Funktion 1: Automatische Ausführung von Aufgaben des Mobiltelefons

• Aufgaben erstellen: Öffnen Sie DroidRun und klicken Sie auf "Neue Aufgabe". Beschreiben Sie die Aufgabe im Eingabefeld, z. B. "Öffnen Sie den Kalender und fügen Sie für morgen um 10 Uhr eine Besprechung hinzu". Je genauer die Beschreibung ist, desto genauer wird die KI die Aufgabe ausführen.
• Modell auswählen: Gehen Sie zu Einstellungen > Sprachmodelle und wählen Sie das angeschlossene Modell aus. Schnellmodelle (z. B. Zwillinge Flash) für einfache Aufgaben und komplexe Modelle (z. B. GPT-4) für mehrstufige Operationen.
• Laufende AufgabenDroidRun erfasst den Bildschirm in Echtzeit und identifiziert Schnittstellenelemente. Eine blaue Markierung erscheint auf dem Bildschirm, um den Bereich zu kennzeichnen, in dem die KI gerade arbeitet. Tippen Sie zum Beispiel auf das Kalendersymbol oder geben Sie einen Besprechungstitel ein.
• Ergebnisse der InspektionWenn die Aufgabe abgeschlossen ist, klicken Sie auf "Protokoll", um die Ausführungsdetails anzuzeigen. Im Protokoll wird jede Aktion aufgezeichnet, z. B. "Kalender-Symbol erfolgreich angeklickt" oder "Texteingabe fehlgeschlagen". Wenn der Vorgang fehlschlägt, können Sie die Beschreibung anpassen und es erneut versuchen.

Funktion 2: Analyse der visuellen und UI-Integration

• Ermöglichende FunktionenUnter Einstellungen > Analysemodus wählen Sie Visuell + UI-Extraktion. Dies ermöglicht es DroidRun, sowohl Screenshots als auch System-UI-Daten zu analysieren.
• Betrieblich komplexe SchnittstellenGeben Sie zum Beispiel in einer Shopping-App ein: "Öffne Jingdong, suche nach Bluetooth-Kopfhörern", und die KI findet automatisch das Suchfeld, gibt den Text ein und klickt auf die Schaltfläche "Suchen". Selbst wenn auf der Oberfläche Werbung erscheint, kann die KI die Zielelemente erkennen.
• Optimierte ErkennungWenn die KI nicht funktioniert, gehen Sie zu Einstellungen > Erkennungsempfindlichkeit und passen Sie den Schieberegler an. Höhere Werte bevorzugen visuelles Parsing, niedrigere Werte bevorzugen UI-Daten. Der empfohlene Standardwert ist 50.
• Vorlage speichernFür häufig verwendete Aufgaben klicken Sie auf "Aufgabe speichern". Wählen Sie beim nächsten Mal einfach die Vorlage aus und AI führt sie direkt aus, ohne dass Sie die Eingabe wiederholen müssen.

Funktion 3: Intelligente Fehlerbehandlung

• SpontanheilungWenn Sie während einer Aufgabe auf ein Pop-up-Fenster (z. B. eine Werbung) stoßen, versucht DroidRun, es zu schließen und fortzufahren. Wenn Sie z. B. "Browser öffnen" ausführen, klickt AI automatisch auf "Zulassen", wenn eine Erlaubnisanfrage erscheint.
• manuelles EingreifenWenn die Aufgabe stecken bleibt, klicken Sie auf "Pause". Nachdem Sie das Telefon manuell auf den richtigen Bildschirm eingestellt haben, klicken Sie auf "Fortsetzen". Die KI wird ab dem aktuellen Status fortgesetzt.
• FehlerprotokollNach jedem Fehlschlag überprüfen Sie das "Protokoll", um den Grund herauszufinden, z. B. "Suchfeld nicht gefunden". Optimieren Sie die Aufgabenbeschreibung oder die Schnittstelleneinstellungen nach Aufforderung.

Funktion 4: Verknüpfung benutzerdefinierter Sprachmodelle

• Hinzufügen von ModellenUnter "Einstellungen > Sprachmodelle" geben Sie den API-Schlüssel ein; DroidRun unterstützt mehrere Modelle, so dass Sie keine komplexe Konfiguration vornehmen müssen, sondern einfach den Schlüssel einfügen.
• TestverbindungKlicken Sie auf "Test", um sicherzustellen, dass das Modell richtig reagiert. Sobald der Test bestanden ist, erscheint das Modell in der Aufgabenauswahlliste.
• Modelle umschaltenVerschiedene Modelle können für unterschiedliche Aufgaben verwendet werden. Zum Beispiel mit Grok Bearbeiten Sie einfache Aufgaben und verwenden Sie GPT-4 für komplexe Logik.

Kommende Funktionen

Laut der offiziellen Website befinden sich die folgenden Funktionen in der Entwicklung und werden voraussichtlich bald in Betrieb gehen:

• ElementverfolgungAufzeichnung der vom Benutzer angeklickten Elemente und KI kann die Aktion exakt wiederholen. Ideal für Batch-Aufgaben wie Massen-Likes oder Kommentare.
• GutscheinverwaltungUnterstützung für das Hinzufügen von Kontopasswörtern oder doppelte Authentifizierung (2FA). KI kann sich zum Beispiel automatisch bei sozialen Apps anmelden und dynamische Verifizierungscodes eingeben.
• Multisystem-VerwaltungUnterstützt die gleichzeitige Steuerung mehrerer Android-Geräte, geeignet für Automatisierungs- oder Testszenarien auf Unternehmensebene.

caveat

• Kompatibilität des SystemsDroidRun unterstützt Android 6.0 und höher. Einige neue Funktionen (wie die Elementverfolgung) erfordern möglicherweise Android 10 oder höher.
• NetzanforderungEin stabiles Wi-Fi- oder 4G-Netzwerk ist erforderlich, um eine Verbindung mit dem Sprachmodell herzustellen. Der Offline-Modus unterstützt nur lokal gespeicherte Aufgaben.
• Wartung von GenehmigungenBei einigen Mobiltelefonen (z. B. Huawei) sind die Eingabehilfen im Energiesparmodus möglicherweise deaktiviert. Prüfen Sie regelmäßig, ob "Einstellungen > Barrierefreiheit" aktiviert ist.
• StromverbrauchDie Ausführung von Aufgaben über einen längeren Zeitraum erhöht den Stromverbrauch. Es wird empfohlen, dass der Akkustand höher als 30% ist oder dass das Ladegerät angeschlossen ist.

Unterstützung für Entwickler

DroidRun wird bald als Open-Source-Framework (MIT-Lizenz) verfügbar sein, wobei der vollständige Code für Entwickler über GitHub verfügbar ist. Die offizielle Dokumentation (Docs) und Cloud-Dienste (Cloud) ist ebenfalls in Planung, wobei API-Schnittstellen und Einsatzleitfäden zu diesem Zeitpunkt verfügbar sein werden. Entwickler können das KI-Verhalten anpassen, z. B. durch die Integration bestimmter Anwendungen oder die Entwicklung eigener Assistenten.

Wenn Sie diese Schritte befolgen, können Sie sich schnell mit DroidRun vertraut machen, das flexible Automatisierungsunterstützung sowohl für Routineaufgaben als auch für komplexe Entwicklungen bietet.

Anwendungsszenario

1. Vereinfachung der täglichen Arbeit
   Mit DroidRun können Benutzer sich wiederholende Aufgaben automatisieren. Öffnen Sie beispielsweise jeden Tag automatisch die Nachrichten-App, um Schlagzeilen zu lesen oder regelmäßig Nachrichten in sozialen Gruppen zu versenden. Die KI erkennt die Schnittstelle genau und reduziert manuelle Eingaben.
2. Verwaltung sozialer Medien
   Self-Media-Praktiker können im Batch-Modus arbeiten. Melden Sie sich zum Beispiel automatisch bei Xiaohongshu an, laden Sie 10 Bilder hoch und posten Sie Notizen. Die KI führt sie nacheinander aus, um sicherzustellen, dass die Inhalte fehlerfrei gepostet werden.
3. Entwicklung von Anwendungstests
   Entwickler können DroidRun verwenden, um Anwendungsschnittstellen zu testen. Simulieren Sie zum Beispiel die Suche und Bestellung von Benutzern in einer E-Commerce-App, zeichnen Sie die Reaktionszeit jedes Schritts auf und entdecken Sie mögliche Fehler.
4. Datenextraktion und -analyse
   Der Forscher kann automatisch Anwendungsdaten erfassen. Öffnen Sie zum Beispiel die Maps-App, suchen Sie nach einem Restaurant in der Nähe und machen Sie einen Screenshot der Ergebnisse.
5. Komplexe Aufgabenplanung
   Geschäftsanwender können mehrstufige Prozesse entwerfen. So öffnet KI beispielsweise die Mail-App, lädt den Anhang herunter, lädt ihn auf ein Cloud-Laufwerk hoch und sendet dann eine Bestätigungsnachricht, die sich für die anwendungsübergreifende Zusammenarbeit eignet.

QA

1. Welche Android-Geräte werden von DroidRun unterstützt?
   Es ist kompatibel mit Android 6.0 und höher und deckt die meisten Handys und Tablets ab. Android 10 oder höher wird für die beste Erfahrung empfohlen.
2. Benötige ich Root-Rechte?
   Nein. DroidRun verwendet einen Hilfsdienst, für den kein Root erforderlich ist, sondern den Sie einfach installieren und verwenden können.
3. Ist es möglich, Aufgaben offline auszuführen?
   Lokal gespeicherte Aufgaben können offline ausgeführt werden, für die Verbindung mit dem Sprachmodell ist jedoch eine Internetverbindung erforderlich. Es wird empfohlen, häufig verwendete Aufgaben im Voraus zu speichern.
4. Wie wählt man das richtige Sprachmodell?
   Wählen Sie ein schnelles Modell (z. B. Gemini Flash) für einfache Aufgaben und ein fortgeschrittenes Modell (z. B. GPT-4) für komplexe Aufgaben. Die offizielle Website wird die empfohlene Liste aktualisieren.
5. Wie wird das Scheitern von Missionen gehandhabt?
   Überprüfen Sie das Protokoll, um den Grund für den Fehler zu bestätigen, z. B. "Taste nicht gefunden". Passen Sie die Beschreibung oder die Empfindlichkeit an und versuchen Sie es erneut, oder greifen Sie manuell ein und fahren Sie fort.
6. Wann wird die Open-Source-Version verfügbar sein?
   Laut der offiziellen Website wird das GitHub-Repository bald live gehen, das genaue Datum wird noch bekannt gegeben. Treten Sie der Discord-Community bei, um die neuesten Updates zu erhalten.