ClickClickClick：启用任何LLM实现自动化安卓和电脑操作

综合介绍

ClickClickClick是一个由BandarLabs开发的框架，旨在通过使用任何本地或远程的大型语言模型（LLM）实现安卓和电脑的自动化操作。该项目目前处于高度实验阶段，支持多种模型如Ollama、Gemini和GPT 4o。用户可以通过配置不同的模型和API密钥，使用ClickClickClick执行各种任务，如发送邮件、浏览地图、启动游戏等。该框架需要在本地机器上安装ADB，并启用安卓手机的USB调试模式。

功能列表

• 支持多种LLM模型（Ollama、Gemini、GPT 4o）
• 自动化安卓和电脑操作
• 配置和使用API密钥
• 执行多种任务（发送邮件、浏览地图、启动游戏等）
• 高度可配置的任务执行平台

使用帮助

安装流程

1. 克隆仓库并进入项目目录：

   git clone https://github.com/BandarLabs/clickclickclick
cd clickclickclick

2. 创建虚拟环境并激活：

   python3 -m venv venv
source venv/bin/activate  # Windows用户使用 `venv\Scripts\activate`

3. 安装依赖：

   pip install -r requirements.txt

使用方法

1. 配置模型设置： 在config/models.yaml文件中设置模型相关配置，并在环境中导出相应的API密钥。
2. 作为CLI工具使用： 安装工具并确保环境中有OPENAI_API_KEY和GEMINI_API_KEY：

   pip install <repo-tar>
click3 run open uber app

3. 作为脚本使用： 默认情况下，planner是openai，finder是gemini。可以在config/models.yaml中更改默认配置。
4. 运行任务： 使用run命令执行任务。基本用法如下：

   python main.py run "<task-prompt>"

选项：

• --platform：指定平台，默认为安卓。示例： bash
python main.py run "example task" --platform=osx

• --planner-model：指定planner模型，默认为openai。示例： bash
python main.py run "example task" --planner-model=gemini

• --finder-model：指定finder模型，默认为gemini。示例： bash
python main.py run "example task" --finder-model=ollama


示例命令

完整示例命令如下：

python main.py run "Open Google news" --platform=android --planner-model=openai --finder-model=gemini