ClickClickClick：任意のLLMを有効にし、AndroidとPCの操作を自動化する

はじめに

ClickClickClickはBandarLabsによって開発されたフレームワークで、ローカルまたはリモートのLarge Language Model (LLM)を使用してAndroidやPCの操作を自動化することを目的としています。このプロジェクトは現在非常に実験的な段階にあり、Ollama、Gemini、GPT 4oなどの複数のモデルをサポートしています。ユーザーはClickClickClickを使って、さまざまなモデルとAPIキーを設定することで、電子メールの送信、マップの閲覧、ゲームの起動など、さまざまなタスクを実行できます。このフレームワークは、ローカルマシンにADBをインストールし、Android携帯のUSBデバッグモードを有効にする必要があります。

機能一覧

• 複数のLLMモデルをサポート（Ollama、Gemini、GPT 4o）
• アンドロイドとPCの自動操作
• APIキーの設定と使用
• 複数のタスクの実行（電子メールの送信、マップの閲覧、ゲームの起動など）
• 高度に設定可能なタスク実行プラットフォーム

ヘルプの使用

設置プロセス

1. リポジトリをクローンし、プロジェクト・ディレクトリに移動する：

   git clone https://github.com/BandarLabs/clickclickclick
cd clickclickclick

2. 仮想環境を作成し、起動する：

   python3 -m venv venv
source venv/bin/activate  # Windows用户使用 `venv\Scripts\activate`

3. 依存関係をインストールします：

   pip install -r requirements.txt

使用方法

1. モデル設定の構成config/models.yamlファイルでモデル関連のコンフィギュレーションを設定し、対応するAPIキーを環境にエクスポートします。
2. CLIツールとして使用する場合：ツールをインストールしOPENAI_API_KEY歌で応えるGEMINI_API_KEY::

   pip install <repo-tar>
click3 run open uber app

3. スクリプトとして使用：デフォルトでは、プランナーはopenai、ファインダーはgeminiです。config/models.yamlをクリックしてデフォルトの設定を変更してください。
4. タスクの実行runコマンドでタスクを実行する。基本的な使い方は以下の通り：

   python main.py run "<task-prompt>"

オプション

• --platformデフォルトはAndroidです。例 bash
python main.py run "example task" --platform=osx

• --planner-modelデフォルトはopenaiである： bash
python main.py run "example task" --planner-model=gemini

• --finder-modelデフォルトはgemini： bash
python main.py run "example task" --finder-model=ollama


サンプルコマンド（コンピューティング）

コマンドの完全なサンプルは以下の通り：

python main.py run "Open Google news" --platform=android --planner-model=openai --finder-model=gemini