Clevrr Computer: PyAutoGUIライブラリでデスクトップ操作のインテリジェンスを自動化する

はじめに

Clevrr コンピューター は、PyAutoGUIライブラリを使用してシステム操作を自動化することを目的としたオープンソースプロジェクトです。このプロジェクトは アンソロピック Clevrr Computerは、ユーザーのシステム操作タスクを正確かつ効率的に実行する自動エージェントの設計に着想を得ています。Clevrr Computerは、各タスクの安全性と正確性を確保しながら、キーボード、マウス、スクリーンの操作を自動化することができます。このプロジェクトは現在ベータ版であり、ユーザーはその使用に伴うリスクを認識する必要があります。

Smart Spectrumが推奨する自動デスクトップ・オペレーティング・インテリジェンス：GLM-PC（スマート・スペクトラム・ブル）が社内ダウンロードで正式リリース、コンピュータを本当にコントロールできるAI

機能一覧

• マウス操作、クリック、キーボード入力を自動化
• スクリーンショットと管理ウィンドウ
• エラーを潔く処理し、フィードバックを提供する
• 最大限の精度でタスクを実行し、不用意な操作を避ける

ヘルプの使用

設置プロセス

1. クローン倉庫

   git clone https://github.com/Clevrr-AI/Clevrr-Computer.git
   cd Clevrr-Computer

2. 依存関係をインストールします：

   pip install -r requirements.txt
   

3. 環境変数の設定：
   そうしれいかん .env_dev ファイル名を 環境をクリックし、APIキーとその他の設定を追加する：

   azure_openai_api_key=とします。
   azure_openai_endpoint= とします。
   azure_openai_api_version=とします。
   azure_openai_chat_deployment_name= です。
   google_api_key=。
   

使用方法

1. アプリケーションを実行する：

   python main.py
   

   デフォルトでは ジェミニ モデルを作成し、フローティングUIを有効にする。

2. オプションのパラメータ：
   • モデルの選択: モデルを選択するには、次のようにします。 ---モデル パラメータで使用するモデルを指定する。使用可能なパラメータは ジェミニ もしかしたら オベナイ.

     python main.py --model openai
     

   • フローティングUI: デフォルトでは、TKinterのUIは画面の上部に表示されます。UIをフロートさせるには -フロート-ウイ 示す 0 でこの動作を無効にする。

     python main.py --float-ui 0
     

機能 操作の流れ

Clevrr Computerは、バックグラウンドで動作するマルチモーダルAIエージェントと継続的なスクリーンショットのメカニズムによって動作し、PyAutoGUIライブラリを使用して画面上の内容を理解し、適切なアクションを実行します。エージェントはタスクに基づいて思考の連鎖を作成し ゲットスクリーンインフォ ツールを使って画面情報を得ることができる。このツールは現在の画面のスクリーンショットを取り、グリッドを使って画面の真の座標をマークする。その後、エージェントはマルチモーダルLLMを使用して画面の内容を理解し、エージェントの質問に基づいて回答を与える。思考連鎖サポート ゲットスクリーンインフォ ツールとPythonREPLAstツールは、PyAutoGUIライブラリを使用して操作を実行するように設計されています。

ほら

• システムに対する直接的な攻撃や事故を防ぐため、最小限の権限で動作する専用の仮想マシンやコンテナを使用する。
• 情報漏洩を防ぐため、アカウントのログイン情報などの機密データをモデルに提供することは避けてください。
• 悪意のあるコンテンツへのアクセスを減らすために、インターネットアクセスをホワイトリストに登録されたドメインのみに制限する。
• 実際的な影響を及ぼす可能性のある決定や、確認が必要なタスク（クッキーの受け入れ、金融取引の実行、利用規約への同意など）については、手動による確認が必要です。