ClickClickClickClick: Aktivieren Sie jedes LLM zur Automatisierung von Android- und PC-Vorgängen

Allgemeine Einführung

ClickClickClick ist ein von BandarLabs entwickeltes Framework, das darauf abzielt, Android- und PC-Operationen zu automatisieren, indem jedes lokale oder entfernte Large Language Model (LLM) verwendet wird. Das Projekt befindet sich derzeit in einer sehr experimentellen Phase und unterstützt mehrere Modelle wie Ollama, Gemini und GPT 4o. Benutzer können ClickClickClick verwenden, um eine Vielzahl von Aufgaben wie das Senden von E-Mails, das Durchsuchen von Karten, das Starten von Spielen usw. durchzuführen, indem sie verschiedene Modelle und API-Schlüssel konfigurieren. Das Framework setzt voraus, dass ADB auf dem lokalen Rechner installiert ist und der USB-Debugging-Modus für Android-Telefone aktiviert ist.

Funktionsliste

• Unterstützung für mehrere LLM-Modelle (Ollama, Gemini, GPT 4o)
• Automatisierter Betrieb von Android und PC
• Konfigurieren und Verwenden von API-Schlüsseln
• Durchführung mehrerer Aufgaben (E-Mail senden, Karten durchsuchen, Spiele starten usw.)
• Hochgradig konfigurierbare Plattform zur Ausführung von Aufgaben

Hilfe verwenden

Einbauverfahren

1. Klonen Sie das Repository und wechseln Sie in das Projektverzeichnis:

   git clone https://github.com/BandarLabs/clickclickclick
cd clickclickclick

2. Erstellen Sie eine virtuelle Umgebung und aktivieren Sie sie:

   python3 -m venv venv
source venv/bin/activate  # Windows用户使用 `venv\Scripts\activate`

3. Installieren Sie die Abhängigkeit:

   pip install -r requirements.txt

Verwendung

1. Konfigurieren Sie die Modelleinstellungen: Inconfig/models.yamlDatei, um die modellbezogene Konfiguration festzulegen und den entsprechenden API-Schlüssel in die Umgebung zu exportieren.
2. Zur Verwendung als CLI-Tool: Installieren Sie das Tool und stellen Sie sicher, dass Sie dieOPENAI_API_KEYim Gesang antwortenGEMINI_API_KEY::

   pip install <repo-tar>
click3 run open uber app

3. Als Skript verwendet: Standardmäßig ist der Planer openai und der Finder gemini. finden Sie in derconfig/models.yamlum die Standardkonfiguration zu ändern.
4. Führen Sie die Aufgabe aus: Verwenden SierunBefehl, um die Aufgabe auszuführen. Die grundlegende Verwendung ist wie folgt:

   python main.py run "<task-prompt>"

Optionen:

• --platformPlattform: Geben Sie die Plattform an, der Standard ist Android. Beispiel: bash
python main.py run "example task" --platform=osx

• --planner-modelGibt das Planermodell an, das standardmäßig auf openai eingestellt ist. beispiel: bash
python main.py run "example task" --planner-model=gemini

• --finder-model: Gibt das Findermodell an, das standardmäßig auf gemini eingestellt ist. beispiel: bash
python main.py run "example task" --finder-model=ollama


Beispielbefehl (Rechnen)

Der vollständige Beispielbefehl lautet wie folgt:

python main.py run "Open Google news" --platform=android --planner-model=openai --finder-model=gemini