autoMate：结合AI与RPA实现电脑任务自动化的本地工具

综合介绍

autoMate 是一款由 yuruotong1 在 GitHub 上开源开发的本地自动化工具，以 AI+RPA（人工智能+机器人流程自动化）为核心特色。它将大型语言模型的智能理解与 RPA 的流程执行能力结合，用户只需用自然语言描述任务，如“整理桌面文件”或“生成周报”，即可让电脑自动完成复杂操作。工具支持本地部署，保障数据安全，特别适合需要高效处理重复性任务的个人或团队。autoMate 打破传统 RPA 的复杂规则设置，通过 AI 驱动的直观交互，让自动化更智能、更易用。

功能列表

• AI+RPA 任务执行：结合 AI 理解与 RPA 操作，自动完成多步骤工作流程。
• 自然语言输入：用日常语言描述任务，无需编程或规则配置。
• 屏幕内容解析：智能识别界面元素，执行点击、输入等操作。
• 本地运行模式：全程离线运行，确保数据隐私。
• 全界面适配：支持任意软件或网页的操作。
• 多模型支持：兼容主流大语言模型，灵活配置。
• 一键部署：简化安装流程，适配中文环境。

使用帮助

安装流程

autoMate 的安装过程针对 AI+RPA 功能优化，确保用户快速上手。以下是详细步骤：

1. 环境准备：
   • 安装 Git：从 Git 官网 下载。
   • 安装 Miniconda：访问 Conda 官网。
   • 确认系统支持 Python 3.12。
2. 克隆项目：
   • 在终端运行：

     git clone https://github.com/yuruotong1/autoMate.git
     

   • 进入目录：

     cd autoMate
     

3. 创建环境：
   • 创建并激活 Conda 环境：

     conda create -n "automate" python=3.12
     conda activate automate
     

4. 安装依赖：
   • 执行：

     pip install -r requirements.txt
     

   • 若提示版本冲突，可更新 pip：

     pip install --upgrade pip
     

5. 启动工具：
   • 运行：

     python main.py
     

   • 浏览器访问 http://localhost:7888/ 配置模型和 API 密钥（如需在线模型）。

安装注意事项

• GPU 支持：若使用 AI 推理加速，需确保 PyTorch 与 CUDA 版本匹配，参考 PyTorch 官网。
• 中文兼容：支持中文路径，无需额外调整。

如何使用

autoMate 的 AI+RPA 功能通过浏览器界面操作，以下是详细指南：

1. AI+RPA 任务执行

• 操作步骤：
  1. 打开 http://localhost:7888/。
  2. 在输入框输入任务，如“打开 Excel，创建表格并填入昨天的销售数据”。
  3. 点击“提交”，AI 解析指令，RPA 执行操作。
• 功能说明：
  • AI 负责理解复杂需求，RPA 完成界面操作，如点击按钮、输入数据。
  • 支持连续任务，如“保存表格后发送邮件”。
• 使用场景：自动处理财务报表、批量更新数据库。

2. 自然语言输入

• 操作步骤：
  1. 输入指令，如“打开浏览器，搜索‘AI+RPA案例’”。
  2. 工具自动启动浏览器并搜索。
• 功能说明：
  • 无需编写脚本，AI 直接翻译语言为操作步骤。
  • 支持模糊描述，如“整理最近的文件”。
• 技巧：用简洁语言描述，避免歧义。

3. 屏幕内容解析

• 操作步骤：
  1. 启用“屏幕识别”模式。
  2. 输入“点击‘保存’按钮”，工具识别并操作。
• 功能说明：
  • AI 分析屏幕元素，RPA 执行精确点击或输入。
  • 可处理动态界面，如弹窗或网页。
• 使用场景：批量关闭通知、自动登录软件。

4. 本地运行模式

• 操作步骤：
  • 默认即为本地模式，无需配置。
  • 数据存储在本地 autoMate.db 文件。
• 功能说明：
  • AI 与 RPA 均在本地运行，无需上传数据。
  • 适合敏感数据处理场景。

5. 全界面适配

• 操作步骤：
  1. 输入“打开 Word，输入‘会议记录’并保存”。
  2. 工具适配 Word 界面并执行。
• 功能说明：
  • 支持跨软件操作，如从 Excel 复制到 Word。
  • 不依赖特定 API，基于视觉识别。

6. 多模型支持

• 操作步骤：
  1. 在设置页面选择模型（如本地或在线模型）。
  2. 输入 API 密钥（若使用在线模型）。
  3. 保存并重启。
• 支持列表：详见 SUPPORT_MODEL.md。

操作流程举例

示例：自动整理订单数据

1. 输入：“打开订单管理软件，导出昨天的订单列表，保存到桌面”。
2. AI 理解需求，RPA 启动软件，点击导出并保存。
3. 继续输入：“打开 Excel，将订单数据导入并按金额排序”。
4. 工具导入文件并完成排序。

• 结果：从导出到整理仅需几分钟，全程自动化。

常见问题

• 启动失败：检查 Python 版本（需 3.12）及依赖完整性。
• AI 理解错误：简化指令或调整模型参数。
• RPA 操作卡顿：确保系统资源充足，或切换 CPU 模式。

使用建议

• 初次使用：测试简单任务，如“打开记事本”。
• 高级用户：结合多步指令探索 AI+RPA 潜力。
• 调试：查看根目录日志排查问题。