autoMate：AIとRPAを組み合わせてコンピュータ作業を自動化するネイティブツール

はじめに

autoMateは、yuruotong1氏がGitHubでオープンソース化しているローカル自動化ツールで、AI+RPA（Artificial Intelligence + Robotic Process Automation）を中核機能としている。大規模な言語モデルのインテリジェントな理解とRPAのプロセス実行機能を組み合わせることで、ユーザーは「デスクトップ・ファイルの整理」や「週次レポートの作成」といったタスクを自然言語で記述するだけで、複雑なオペレーションを自動化することができる。autoMateは、ローカル展開とデータセキュリティにより、反復作業を効率的に処理する必要のある個人やチームに最適です。autoMateは、従来のRPAルールセットの複雑さを解消し、直感的なAI主導のインタラクションにより、自動化をよりスマートで使いやすくします。

機能一覧

• AI+RPAタスク実行AIの理解とRPAの運用を組み合わせることで、複数ステップのワークフローを自動化する。
• 自然言語入力プログラミングやルール設定なしに、日常的な言葉でタスクを記述。
• 画面内容の分析インターフェース要素をインテリジェントに認識し、クリックやタイピングなどのアクションを実行します。
• ローカル操作モードデータのプライバシーを確保するため、オフラインで実行されます。
• 完全なインターフェース適応あらゆるソフトウェアやウェブページの操作をサポートします。
• マルチモデル対応主要な大型言語モデルに対応し、柔軟な設定が可能。
• ワンクリック配備インストールプロセスを簡素化し、中国の環境に適応する。

ヘルプの使用

設置プロセス

autoMateのインストール・プロセスは、AI+RPA機能に最適化されており、ユーザーが迅速にスピードアップできるようになっています。以下に詳細な手順を示します：

1. 環境準備::
   • Gitのインストール：Gitのウェブサイトからダウンロードする。
   • Minicondaをインストールするには：Condaの公式ウェブサイトをご覧ください。
   • お使いのシステムがPython 3.12をサポートしていることを確認してください。
2. クローンプロジェクト::
   • ターミナルで実行：

     git clone https://github.com/yuruotong1/autoMate.git
     

   • カタログを見る

     cd オートメイト
     

3. 環境づくり::
   • Conda環境を作成し、アクティベートする：

     conda create -n "automate" python=3.12
     condaはautomateをアクティブにする
     

4. 依存関係のインストール::
   • 実施する：

     pip install -r requirements.txt
     

   • バージョンの競合を求めるプロンプトが表示された場合は、pipをアップデートしてください：

     pip install --upgrade pip
     

5. スターターキット::
   • 走っている：

     python main.py
     

   • ブラウザアクセス http://localhost:7888/ モデルとAPIキー（オンラインモデルが必要な場合）を設定します。

設置上の注意

• GPUサポートAI推論アクセラレーションを使用する場合は、PyTorchとCUDAのバージョンが一致していることを確認する必要があります。
• 中国語対応中国語のパスは、追加調整なしでサポートされます。

使用方法

autoMateのAI+RPA機能はブラウザインタフェースで動作するため、以下が詳細ガイドとなる：

1.AI+RPA指令の実施

• 手続き::
  1. 見せる http://localhost:7888/.
  2. 例えば、「エクセルを開き、表を作成し、昨日の売上データを記入する」のように、入力ボックスにタスクを入力します。
  3. Submit」をクリックすると、AIがコマンドを解析し、RPAが操作を実行する。
• 機能説明::
  • AIは複雑な要件の理解を担当し、RPAはボタンのクリックやデータの入力といったインターフェース操作を行う。
  • フォームを保存してメールを送信する」といった連続したタスクをサポート。
• 使用シナリオ:: 財務諸表の自動処理、データベースの一括更新。

2.自然言語入力

• 手続き::
  1. ブラウザーを開き、『AI+RPAケース』と検索してください」などとコマンドを入力する。
  2. このツールは自動的にブラウザを起動し、検索を行う。
• 機能説明::
  • スクリプトを書く必要はなく、AIが言語を直接アクションステップに変換する。
  • 最近のファイルを整理する」のような曖昧な説明をサポート。
• 技術曖昧さを避けるため、簡単な言葉で説明すること。

3.画面の内容分析

• 手続き::
  1. 画面認識」モードを有効にする。
  2. 保存'ボタンをクリック'」と入力すると、ツールが認識し動作する。
• 機能説明::
  • AIが画面要素を分析し、RPAが的確なクリックや入力を行う。
  • ポップアップやウェブページのような動的なインターフェイスを扱うことができる。
• 使用シナリオ一括通知オフ、自動ログインソフト。

4.ローカル・オペレーティング・モード

• 手続き::
  • デフォルトはローカルモードで、設定は必要ない。
  • データはローカルに保存される autoMate.db ドキュメンテーション
• 機能説明::
  • AIもRPAもローカルで動作するため、データをアップロードする必要はない。
  • センシティブなデータ処理シナリオに適しています。

5.完全なインターフェース適応

• 手続き::
  1. ワードを開き、『議事録』と入力して保存」と入力する。
  2. このツールはワードのインターフェイスに適応して実行される。
• 機能説明::
  • ExcelからWordへのコピーなど、ソフトをまたいだ操作をサポート。
  • 特定のAPIに依存せず、視覚認識に基づいている。

6.マルチモデル対応

• 手続き::
  1. 設定ページでモデル（ローカルモデルまたはオンラインモデルなど）を選択します。
  2. APIキーを入力します（オンラインモデルを使用している場合）。
  3. 保存して再起動する。
• サポート一覧詳細を見る SUPPORT_MODEL.md.

作業工程例

例：注文データの自動照合

1. 注文管理ソフトを開き、昨日の注文リストをエクスポートしてデスクトップに保存してください。
2. AI 要件の理解、RPA ソフトウェアを起動し、「エクスポートして保存」をクリックします。
3. エクセルを開き、注文データをインポートし、金額順に並べ替える。
4. ツールはファイルをインポートし、ソートを完了する。

• 結局エクスポートから照合まで、すべてのプロセスがわずか数分で自動化されます。

一般的な問題

• ブート失敗Pythonのバージョン(3.12が必要)と依存関係の整合性をチェックする。
• AIがエラーを理解する指示を簡略化したり、モデルのパラメータを調整する。
• RPA オペレーション・ジャムシステムリソースが十分であることを確認するか、CPUモードを切り替える。

使用上の推奨事項

• 初期使用メモ帳を開く」といった単純作業をテストする。
• パワーユーザーAI＋RPAと多段階命令の可能性を探る。
• テスト中にコンポーネントを調整するルートディレクトリのログをチェックして、問題を解決してください。