AIパーソナル・ラーニング
と実践的なガイダンス
資源推薦1

ランナーH:自然言語コマンドによるウェブページ実行タスクの自動化(社内テスト用アプリケーション)

はじめに

ランナーH社は、高度なAI機能によって作業者の生産性を向上させることを目的とした最先端のアクションモデルの開発に専念する企業である。同社の主力製品であるRunner Hは、複雑な複数ステップのタスクを自動化し、繰り返しや手動入力を減らすためにユーザーを支援するように設計された高度なAIエージェントです。シンプルな自然言語コマンドにより、Runner Hはウェブ自動化プロセスを設計・実行することができ、ウェブテストやプロセス自動化における開発者やチームの効率を劇的に向上させる。Runner Hのコアテクノロジーには、ビジュアル言語モデリング(VLM)と大規模言語モデリング(LLM)が含まれ、ユーザーインターフェースの変更を理解し適応し、問題を自動的に修正することができます。

ランナーH:自然言語コマンドによるWebページ実行タスクの自動化-1


 

機能一覧

  • タスクの自動化自然言語コマンドによるウェブオートメーションプロセスの設計を自動化することで、複数ステップの手作業を排除します。
  • 意思決定支援インテリジェントな意思決定サポートを提供し、ユーザーのビジネス上の意思決定をよりスマートにします。
  • インターフェイスの適応UIの変更に自動的に対応し、セレクタを維持する複雑さを軽減します。
  • 自己修復機能インターフェイスの変更によるオートメーションの停止を自動的に修復する自己修復機能。
  • 開発者プラットフォーム: 作成、レビュー、編集の自動化プロセスをサポートする開発者向けプラットフォーム「Studio」を提供。
  • API統合API経由でクラウド上で動作するエージェントを呼び出すことで、幅広い自動化ニーズをサポートします。

 

ヘルプの使用

インストールと使用

  1. 自動化されたプロセスを作成する::
    • ログインしたら、Developer Platform Studioに移動します。
    • スタジオで "Create New Process" ボタンをクリックし、プロセス名と説明を入力します。
    • 自然言語コマンドを使用して、「カートに入れるボタンをクリックする」など、自動化が必要なタスクを記述します。
  2. 編集とデバッグ::
    • プロセスの作成後、スタジオでプロセスの各ステップを表示および編集できます。
    • プラットフォームで提供されているデバッグツールを使って、プロセスを実行し、エラーをチェックする。
    • プロセスが中断された場合は、自己修復機能を使用して自動的に修復するか、手動でプロセスステップを調整します。
  3. オペレーションとモニタリング::
    • 編集とデバッグが終わったら、プロセスを保存し、"Run "ボタンをクリックする。
    • 運転中は、リアルタイムでプロセスの実行を監視し、ログや結果を表示することができます。
  4. APIコール::
    • 他のシステムとの連携が必要な場合は、H社が提供するAPIを利用することができる。
    • プラットフォーム上でAPIキーを生成し、統合コールのAPIドキュメントを参照する。

主な機能

タスクの自動化

  • タスクを説明するStudio では、自動化が必要なタスクの手順を自然言語を使って記述します。
  • 生成プロセス説明に基づいて、対応する自動プロセスを自動的に生成します。
  • デバッグと最適化プロセスを実行し、エラーをチェックし、最適化を調整します。

意思決定支援

  • データ入力分析対象のデータを入力すると、システムが自動的に意思決定に関する推奨事項を生成します。
  • レポートを見るシステムが作成した意思決定レポートは、プラットフォームから閲覧・ダウンロードできる。

インターフェイスの適応と自己修復

  • 自動適応ウェブインターフェースの変更にシステムが自動的に対応するため、手動で調整する手間が省けます。
  • 自己修復機能プロセスが中断された場合、システムが自動的に修復を試み、プロセスがスムーズに実行されるようにします。

 

注目の機能

  • ビジュアル言語モデリング(VLM)ランナーHのVLMは、ユーザーインターフェースの変化を理解し、それに適応し、自動的に問題を修正し、自動化されたタスクの安定性を向上させます。
  • 大規模言語モデリング(LLM)ランナーHのLLMは、基本的なプログラミング能力と高度な意思決定能力を持っており、複雑な自動化タスクを処理することができる。
  • 自己修復機能ランナーHは、ユーザーインターフェースの変更による問題を自動的に修正し、自動化されたタスクのメンテナンスにかかる時間とコストを削減します。

 

ランナーHでAIを活用しよう

インターフェイスをナビゲートし、ドキュメントを読み解き、適切なコンポーネントをクリックし、そしてこれらのアクションを繰り返す。現在、これらの作業は人間が毎日、時には一日中行っている。

今は違う。

Studioはスケーラブルであり、多様な自動化ニーズをサポートし、ウェブを超えて一般化するために成長し続ける。

当社のフラッグシップ・エージェントであるRunner Hは、このプラットフォーム上でプライベート・ベータ版として提供される予定です。シンプルな自然言語コマンドにより、ウェブ自動化プロセスの設計を自動化し、煩雑な複数ステップの手動操作を排除し、開発者やチームがウェブテストやプロセス自動化に取り組む方法に革命をもたらします。

Webプロキシとして、Runner Hは最先端のパフォーマンスを提供し、公開ベンチマークのWebVoyagerを上回った。 アンソロピック コンピューター 使用するさらに詳しく).私たちの社内ベースモデルは、より小さく、専門化され、(おそらく桁違いに)安価であるが、エージェントにサポートを提供することに関しては、大規模な汎用モデルを凌ぐことができる。

複雑なタスクを確実にこなすシステム、エージェントの時代をリードするRunner Hに期待しています。私たちの仲間になりたい方は、以下までご連絡ください。プライベート・ベータ待機リストに登録する.

ランナーH:自然言語コマンドによるウェブ自動化-1

 

スタジオ&ランナーH 0.1

ウェブ開発者は、壊れやすいセレクタをメンテナンスしたり、常に変化し続ける現代のウェブ・インターフェイスの性質に起因するオートメーションが壊れる問題を修正したりするのに、数え切れないほどの時間を費やすことが多い。

Runner Hは、Studioを搭載したAIウェブエージェントで、UIの変更に自動的に適応し、自然言語コマンドを理解することで自己回復することで、これらのペインポイントを解決します。

私たちのエージェントがセレクタの記述とメンテナンスの複雑さを裏で処理している間、開発者はワークフローとプロダクションのセマンティックな部分に集中することができ、より価値の高い開発作業に時間を割くことができます。

今後のプライベート・ベータ・リリースは以下の通り:

  • クラウドですぐに使えるエージェントAPIとホストされたエージェントAPIを呼び出す
  • オートメーションの作成、過去のレビューと編集、リアルタイムでの実行のためのスタジオ

ランナーH:自然言語コマンドによるウェブ自動化-1

Studio では、エンドツーエンドの e コマースシナリオテスト(商品の発見から注文の確認まで)や、金融サービスのオンボーディングプロセス(事前入力された複数ステップの検証プロセス、ドキュメントのアップロード、コンプライアンスチェック)など、複雑なワークフローに対応する信頼性の高い自動化プロセスを作成できます。

ランナーH:自然言語コマンドによるウェブ自動化-3

壮大なビジョンへの重要なステップ:計画、観察、実行、そして繰り返し

スクリーンの自動化など従来の方法に比べ、Runner Hは生産レベルの自動化をより確実に、効率的に、簡単に、そして拡張性をもって実現します。これは、創業以来の当社のエンジニアリング・チームと研究チームの成果によるものです:

  • 私たちは、スクリーンショットと自然言語コマンド(例えば、「カートに追加ボタンをクリックする」)が与えられたときのマウスクリックの座標を予測するために、市場で最も優れた視覚言語モデル(VLM)を訓練し、その性能は、ユーザーインターフェース操作モデルに焦点を当てたベンチマークであるScreenspotで優れています。
  • 私たちは、オープンエンドなタスクのために市場で最高のWebプロキシを設計し、その性能はWebVoyagerで優れています。

ランナーHの基礎、VLMとラージ・ランゲージ・モデル(LLM)の詳細については、以下を参照のこと。こちら.

進むべき道

最終的には、同僚と接するのと同じように自然にランナーHと接することができる未来を描いています。

次に、我々は以下の分野で前進を続ける:

  • 強化学習や蒸留を含む大規模複合技術による精度とコスト効率の向上
  • デバッグとティーチング機能をStudioに追加し、開発者が特定のタスクに秀でたRunner H 0.1をトレーニングできるようにしました。
  • 技術コンテンツ、サポート、イベントを通じて開発者コミュニティを促進する。
  • Runner H 0.1の安全性と信頼性を確保するためのエンタープライズ・グレードのセキュリティ基準の遵守(今後さらに調査予定)

これは、エージェンシーを民主化するための第一歩である。H社では、複雑さを減らすことでイノベーションの余地が生まれると信じている。雑務に費やす時間を減らせば、有意義な目標や創造性に集中できる。そして、AIに仕事を任せることで、より重要な仕事を成し遂げることができるのです。

私たちは、その可能性を探求することを楽しみにしています。ウェブオートメーションの未来を一緒に作りましょう。

コンテンツ2
無断転載を禁じます:チーフAIシェアリングサークル " ランナーH:自然言語コマンドによるウェブページ実行タスクの自動化(社内テスト用アプリケーション)

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語