mac assistant: macOSデバイスのデスクトップ操作を自動化するAIインテリジェンス

はじめに

macアシスタントは、macOSのために設計されたAIインテリジェンスのプロジェクトであり、ネイティブソフトウェアとウェブ機能を組み合わせることで、ユーザーの操作を簡素化することを目的としている。このプロジェクトは現在、OpenAIと ジェミニ APIをサポートする予定である。 オーラマ mac_assistantは、DOMツリーやオペレーティングシステムのヘルパー機能と深く統合されているため、ウェブページやアプリケーションのボタンをクリックするといった単純な作業を効率的に行うことができます。しかし、現在のところ、GoogleドキュメントやPDFファイルなどの操作の処理には限界があります。今後のアップデートにより、これらの分野でのパフォーマンスがさらに向上する予定である。このプロジェクトは ブラウザ使用 将来的には、AIがパフォーマンスを向上させるために、より多くのツールを利用できるようになるだろう。

機能一覧

• OpenAIおよびGEMINI APIのサポート
• Ollama母国語大型言語モデルへの対応予定
• ウェブページやアプリケーションのボタンクリック作業を効率的に実行
• 深く統合されたDOMツリーとOSヘルパー関数
• インテリジェンスやAPIと対話するための使いやすいインターフェイスを提供する。

ヘルプの使用

設置プロセス

1. 必要なライブラリのインストールまず、以下のコマンドを実行して必要なライブラリをインストールする：

   pip install PyQt5 pyinstaller langchain-openai browser-use mlx-use python-dotenv

2. .envファイルの作成を作成する。.envファイルに以下を追加する：

   OPENAI_API_KEY=你的OpenAI密钥
GEMINI_API_KEY=你的GEMINI密钥

3. アプリケーションの実行ターミナルで以下のコマンドを実行し、アプリケーションを起動します：

   python agent_ui.py

使用ガイドライン

1. インターフェイスの紹介アプリケーションを起動すると、インテリジェンスやAPIと対話できるユーザーインターフェースが表示されます。インターフェイスはシンプルで直感的に操作できるように設計されています。
2. 操作するインターフェイスを使用して、インテリジェンスに特定のタスク（ウェブページのボタンをクリックする、アプリケーションでアクションを実行するなど）を実行させるためのコマンドを入力できます。インテリジェンスはその指示に従って自動的にタスクを実行します。
3. 今後のアップデートプロジェクトが進化し続けるにつれて、将来的にはより多くのファイルタイプ（Google DocsやPDFなど）のサポートが追加され、インテリジェンスの全体的なパフォーマンスが改善される予定です。