Signs: интерактивная платформа для изучения американского языка жестов и внесения в него вклада с помощью технологии искусственного интеллекта

Общее введение

Signs - это инновационная онлайн-платформа, призванная помочь пользователям выучить американский язык жестов (ASL) и внести свой вклад в развитие сообщества глухих с помощью технологий искусственного интеллекта. Разработанный в партнерстве с NVIDIA, Американским обществом глухих детей (ASDC) и креативным агентством Hello Monday/DEPT®, сайт сочетает в себе концепции обратной связи в реальном времени, управляемой искусственным интеллектом, и сотрудничества с сообществом. Независимо от того, являетесь ли вы новичком или опытным пользователем языка жестов, вы можете изучать ASL в интерактивном режиме с помощью платформы или загружать видеоролики на языке жестов для пополнения базы данных с открытым исходным кодом. Платформа не только предоставляет инструмент для обучения, но и стремится создать высококачественную библиотеку видеоресурсов ASL, чтобы поддержать развитие более доступных технологий и соединить мостом коммуникации между глухими и слышащими людьми. В настоящее время платформа ориентирована на захват движений рук, а в будущем планируется включить распознавание неручных сигналов, таких как мимика.

Список функций

• Учебный модуль ASL: Обеспечивает обучение базовой лексике языка жестов, а пользователи могут наблюдать за демонстрацией с помощью 3D-аватаров.
• Система обратной связи в режиме реального времени: Использование камер и искусственного интеллекта для анализа жестов пользователя и предоставления мгновенных корректирующих предложений.
• Функция внесения видео: Разрешить пользователям загружать видео на языке жестов, чтобы помочь расширить набор данных ASL на платформе.
• Поддержка открытых наборов данных: Предоставление разработчикам проверенных видеоресурсов ASL для разработки приложений ИИ.
• Взаимодействие с обществомСвязь между учащимися и сообществом глухих для содействия обмену знаниями и культурному обмену.

Использование помощи

Signs - это онлайн-платформа, которая не требует установки, просто зайдите на сайт https://signs-ai.com/即可开始体验 через браузер. Ниже приведено подробное руководство пользователя, которое поможет вам быстро начать работу и максимально использовать все ее возможности.

Как начать

1. Доступ к веб-сайту
   Откройте браузер и введите URL https://signs-ai.com/, чтобы перейти на главную страницу. Вы увидите две основные опции: "Учиться" и "Вносить вклад". Вы можете просматривать некоторые материалы без регистрации, но рекомендуется создать учетную запись, чтобы разблокировать все функции.
2. Создать учетную запись
   Нажмите кнопку "Зарегистрироваться" в правом верхнем углу и введите адрес электронной почты и пароль для завершения регистрации. После регистрации вы сможете входить в систему, чтобы сохранять свои достижения и загружать видео.
3. Требования к оборудованию
   Убедитесь, что ваше устройство оснащено камерой (для обратной связи в реальном времени) и имеет стабильное интернет-соединение. Для получения наилучших впечатлений рекомендуется использовать настольный компьютер или ноутбук, также можно использовать мобильные телефоны, но маленький экран может помешать работе.

Основные функции

1. Изучение американского языка жестов (модуль "Обучение")

• Перейдите на страницу обучения
  Нажмите кнопку "Учиться" на главной странице, чтобы войти в интерфейс изучения языка жестов. Здесь показаны такие распространенные слова ASL, как "привет" и "семья".
• Посмотреть демонстрацию 3D-снимков головы
  Выберите словарное слово, и система покажет 3D-аватар, демонстрирующий движения жестов на этом языке. Вы можете смотреть с разных сторон, чтобы убедиться, что понимаете детали каждой позы руки.
• Практикуйтесь и получайте обратную связь
  Включите камеру, направьте ее на свои руки и имитируйте жесты 3D-аватара. ИИ анализирует ваши движения в режиме реального времени и выводит на экран обратную связь. Например, при неправильном положении пальцев появится подсказка: "Пожалуйста, поднимите мизинец" или "Ваша ладонь должна быть обращена влево". Для повышения точности распознавания рекомендуется тренироваться в тихом, хорошо освещенном помещении.
• углублённое изучение
  Платформа предлагает градиентную модель обучения с постепенным увеличением сложности от начального словарного запаса до сложных предложений. После прохождения каждого этапа можно открыть дополнительные материалы для тех, кто учится долго.

2. Сопровождение видео на языке жестов (модуль "Сопровождение")

• Перейдите на страницу "Вклад".
  Нажмите на кнопку "Внести вклад" на главной странице, чтобы перейти на экран загрузки видео. Здесь вы найдете список слов, которые в настоящее время требуются платформе, например "любовь" или "школа".
• запись видео
  Нажмите кнопку "Запись" рядом с целевой лексикой, и система активирует камеру. Следуя подсказкам, выполните соответствующее движение на языке жестов и запишите 3-5-секундное видео. После записи вы можете просмотреть видео, чтобы убедиться, что действие хорошо видно.
• Представление и проверка
  Нажмите "Отправить", чтобы загрузить свое видео. Все присланные материалы проверяются глухими и сертифицированными переводчиками на предмет точности. После проверки ваше видео будет добавлено в базу данных, а вы получите благодарственное письмо.
• предостережение
  Сохраняйте простой фон при записи, избегайте затенения рук и следите за тем, чтобы движения соответствовали ASL. Платформа предоставит демонстрационное видео для ознакомления.

3. Углубленное использование системы обратной связи в режиме реального времени

• Регулировка угла наклона камеры
  Убедитесь, что обе руки находятся в центре кадра во время обучения или записи. Если распознавание AI не удается, отрегулируйте высоту камеры или расстояние до нее, обычно для этого достаточно 50-80 см.
• Понимание предложений по обратной связи
  Обратная связь не ограничивается текстом, иногда отображается зеленый (правильно) или красный (неправильно) визуальный маркер. Повторяйте упражнение до тех пор, пока не загорится зеленый свет, означающий, что жест полностью правильный.
• Оптимизация опыта
  Если отклик появляется с задержкой, проверьте скорость сети или уменьшите разрешение экрана. Платформа поддерживает ручное переключение резкости для адаптации к производительности различных устройств.

Основные функции Детали операции

• Интерактивный 3D-аватар
  Нажмите на аватар, чтобы приостановить, повернуть или увеличить его, чтобы рассмотреть детали жеста. Новички могут подражать постепенно, используя функцию медленного воспроизведения.
• Значимость вклада в набор данных
  Каждый загруженный видеоролик помогал платформе накапливать данные, в результате чего была создана целевая база данных, содержащая 400 000 видеоклипов. Это не только поддерживает индивидуальное обучение, но и способствует использованию технологий искусственного интеллекта в области глухоты, например, для распознавания языка жестов в режиме видеоконференции.
• Участие в жизни общества
  На сайте регулярно обновляются рейтинги вкладов, чтобы показать активных пользователей. Вы также можете обмениваться опытом или вносить предложения на форуме.

Советы по использованию

• Советы для начинающих
  Начните с базового словарного запаса и занимайтесь по 10 минут в день, постепенно знакомясь с шаблонами знаков.
• Предложения по загрузке видео
  Проверьте демонстрационное видео перед записью, чтобы убедиться, что движения стандартизированы, и избежать повторяющихся модификаций.
• Техническая поддержка
  Если у вас возникнут вопросы, вы можете отправить письмо по адресу "Свяжитесь с нами" в нижней части сайта, и команда ответит на него в течение 48 часов.

Выполнив все вышеперечисленные действия, вы сможете легко освоить основные функции сайта Signs-ai, чтобы улучшить свои навыки владения ASL и одновременно внести свой вклад в развитие сообщества. Сайт прост и интуитивно понятен для пользователей всех возрастов, особенно для семей глухих детей или энтузиастов языка жестов, и является непревзойденной платформой для обучения и обмена опытом.