mac assistant：macOS设备自动执行桌面操作的AI智能体

综合介绍

mac assistant 是一个专为macOS设计的AI智能体项目，旨在通过结合本地软件和网络功能来简化用户操作。该项目目前支持 OpenAI 和 GEMINI API ，并计划未来支持 Ollama 运行的本地大语言模型。mac_assistant 能够高效地执行简单任务，如在网页和应用程序中点击按钮，得益于其与DOM树和操作系统辅助功能的深度集成。然而，目前它在处理Google Docs和PDF文件等操作上仍有一定的局限性。未来的更新将进一步增强其在这些领域的表现。该项目由 browser-use 和 macOS-use 驱动，未来将允许AI利用更多工具来提高其性能。

功能列表

• 支持OpenAI和GEMINI API
• 计划支持Ollama本地大语言模型
• 高效执行网页和应用程序中的按钮点击任务
• 深度集成DOM树和操作系统辅助功能
• 提供易于使用的界面与智能体和API交互

使用帮助

安装流程

1. 安装所需库：首先，通过运行以下命令安装必要的库：

   pip install PyQt5 pyinstaller langchain-openai browser-use mlx-use python-dotenv

2. 创建.env文件：在项目根目录下创建一个.env文件，并添加以下内容：

   OPENAI_API_KEY=你的OpenAI密钥
GEMINI_API_KEY=你的GEMINI密钥

3. 运行应用程序：在终端中运行以下命令启动应用程序：

   python agent_ui.py

使用指南

1. 界面介绍：启动应用程序后，您将看到一个用户界面，允许您与智能体和API进行交互。界面设计简洁直观，便于用户操作。
2. 执行任务：通过界面，您可以输入指令让智能体执行特定任务，例如在网页上点击按钮或在应用程序中进行操作。智能体会根据指令自动完成这些任务。
3. 未来更新：随着项目的不断发展，未来将增加对更多文件类型（如Google Docs和PDF）的支持，并提升智能体的整体性能。