Signs：AI技術によるアメリカ手話の学習と貢献のための対話型プラットフォーム

はじめに

Signsは、ユーザーがアメリカ手話（ASL）を学び、AI技術を通じてろう者コミュニティに貢献できるように設計された革新的なオンラインプラットフォームです。NVIDIA、米国ろう児協会（ASDC）、クリエイティブエージェンシーのHello Monday/DEPT®とのパートナーシップにより開発されたこのサイトは、AIを活用したリアルタイムフィードバックとコミュニティのコラボレーションというコンセプトを兼ね備えています。手話の初心者でも熟練者でも、このプラットフォームを通じてASLをインタラクティブに学んだり、手話ビデオをアップロードしてオープンソースのデータセットを充実させたりすることができる。学習ツールを提供するだけでなく、よりアクセシブルな技術の開発をサポートし、聴覚障害者と健聴者の間のコミュニケーションの架け橋となるよう、高品質のASLビデオ・リソース・ライブラリーの構築にも尽力している。このプラットフォームは現在、手のモーションキャプチャに焦点を当てており、将来的には表情など手以外の信号の認識も計画している。

機能一覧

• ASL学習モジュール基本的な手話の語彙指導が行われ、3Dアバターによるデモンストレーションを見ることができます。
• リアルタイム・フィードバック・システムカメラとAIを使ってユーザーのジェスチャーを分析し、瞬時に修正案を提供する。
• ビデオ投稿機能ユーザーが手話ビデオをアップロードして、プラットフォームのASLデータセットを拡張できるようにする。
• オープンデータセットのサポート開発者に、AIアプリケーション開発のための有効なASLビデオリソースを提供します。
• 地域社会との交流知識共有と文化交流を促進するため、学習者とろう者コミュニティをつなぐ。

ヘルプの使用

Signsはインストール不要のオンラインプラットフォームで、ブラウザからhttps://signs-ai.com/即可开始体验。以下は、すぐに使い始め、その機能を最大限に活用するための詳細なユーザーガイドです。

始め方

1. ウェブサイトへのアクセス
   ブラウザを開き、URL https://signs-ai.com/。Learn（学ぶ）」と「Contribute（貢献する）」の2つの主要オプションが表示されます。登録しなくても一部のコンテンツは閲覧できますが、全機能を利用するにはアカウントを作成することをお勧めします。
2. アカウントの作成
   右上の「サインアップ」ボタンをクリックし、メールアドレスとパスワードを入力して登録を完了します。登録が完了すると、ログインして進捗状況を保存したり、ビデオをアップロードすることができます。
3. 機材要件
   お使いのデバイスにカメラ（リアルタイムのフィードバック用）と安定したインターネット接続が装備されていることをご確認ください。携帯電話も使用できますが、画面が小さいため操作に支障をきたす場合があります。

主な機能

1.アメリカ手話の学習（学習モジュール）

• 学習ページへ
  ホームページの「学ぶ」をクリックすると、手話学習のインターフェイスに入ります。こんにちは」や「家族」などの一般的なASL単語が表示されます。
• 3Dヘッドショットのデモを見る
  単語を選択すると、その手話のジェスチャー動作を実演する3Dアバターが表示されます。様々な角度から見ることができるので、それぞれの手のポーズの詳細を理解することができます。
• 練習してフィードバックを得る
  カメラをオンにし、あなたの手に向けて、3Dアバターのジェスチャーを真似てください。AIがあなたの動きをリアルタイムで分析し、スクリーンにフィードバックを表示します。例えば、指の位置が正しくない場合、「小指を上げてください」や「手のひらは左を向いてください」といったプロンプトが表示されます。認識精度を高めるために、静かで明るい環境で練習することをお勧めします。
• 上級研究
  このプラットフォームは、初級の語彙から複雑な文章まで、段階的に難易度が上がる学習モデルを提供している。各ステージを完了すると、長期学習者向けにさらに多くのコンテンツをアンロックすることができます。

2.手話でビデオを投稿する（Contributeモジュール）

• 貢献のページへ
  ホームページの「Contribute」をクリックすると、動画のアップロード画面に入る。ここには、「愛」や「学校」など、現在プラットフォームが要求している単語のリストがあります。
• ビデオ録画
  ターゲット語彙の横にある「録画」ボタンをクリックすると、カメラが起動します。プロンプトに従って、対応する手話の動作を行い、3～5秒のビデオを録画します。録画後、ビデオをプレビューして、動作がはっきり見えることを確認できます。
• 提出と検証
  送信」をクリックしてビデオをアップロードしてください。投稿された動画は、ろう者・認定通訳者が正確性を確認します。審査後、あなたのビデオはデータセットに追加され、お礼の手紙が届きます。
• ほら
  録画の際は背景をシンプルにし、手が見えないようにし、動作がASLに準拠していることを確認してください。プラットフォームは参考のためにデモビデオを提供します。

3.リアルタイム・フィードバック・システムの徹底活用

• カメラアングルの調整
  学習や録画の際には、両手がフレームの中心にあることを確認してください。AI認識に失敗した場合は、カメラの高さや距離を調節してください。
• フィードバック提案の理解
  フィードバックは文字だけでなく、緑（正解）や赤（不正解）のビジュアルマーカーが表示されることもある。ジェスチャーが完全に正しいことを示す緑のランプが点灯するまで、練習を繰り返します。
• エクスペリエンスの最適化
  フィードバックが遅れる場合は、ネットワーク速度をチェックするか、画面の解像度を下げてください。プラットフォームは、異なるデバイスの性能に適応するために、シャープネスの手動切り替えをサポートしています。

注目機能 操作詳細

• 3Dアバター・インタラクティブ
  アバターをクリックすると、一時停止、回転、ズームインができ、ジェスチャーの詳細を詳しく見ることができます。初心者の方は、スロー再生機能で少しずつ真似してみましょう。
• データセット寄与度の重要性
  動画をアップロードするたびに、プラットフォームはデータを蓄積し、最終的には40万件の動画クリップを含むデータベースを目標とした。これは個人の学習をサポートするだけでなく、テレビ会議による手話の認識など、聴覚障害分野におけるAI技術の利用を前進させる。
• コミュニティへの参加
  サイトは定期的に更新され、アクティブなユーザーを紹介する投稿ランキングを掲載しています。また、フォーラムエリアでは、他のユーザーと学習経験を交換したり、提案したりすることができます。

使用上の注意

• 初心者へのアドバイス
  基本的な単語から始め、1日10分練習し、徐々に手話のパターンに慣れていく。
• 動画アップローダーの提案
  動きが標準化されていることを確認し、繰り返しの修正を避けるため、録画する前にデモビデオをチェックする。
• テクニカルサポート
  ご不明な点がございましたら、ウェブサイト下部の "Contact Us "にメールをお送りください。

以上の手順で、Signs-aiのコア機能を簡単にマスターし、ASLスキルを向上させ、同時にコミュニティに貢献することができます。このウェブサイトはシンプルで直感的、あらゆる年齢層のユーザーに適しており、特に聴覚障害児の家族や手話愛好家にとっては、学習と共有のための不可欠なプラットフォームです。