Signs: uma plataforma interativa para aprender e contribuir com a linguagem americana de sinais com tecnologia de IA

Introdução geral

Signs é uma plataforma on-line inovadora projetada para ajudar os usuários a aprender a linguagem americana de sinais (ASL) e contribuir com a comunidade surda por meio da tecnologia de IA. Desenvolvido em parceria com a NVIDIA, a American Society for Deaf Children (ASDC) e a agência de criação Hello Monday/DEPT®, o site combina os conceitos de feedback em tempo real orientado por IA e colaboração comunitária. Seja você um iniciante ou um usuário experiente da linguagem de sinais, é possível aprender ASL de forma interativa por meio da plataforma ou carregar vídeos de linguagem de sinais para enriquecer seu conjunto de dados de código aberto. Além de fornecer uma ferramenta de aprendizado, a plataforma também está comprometida com a criação de uma biblioteca de recursos de vídeo em ASL de alta qualidade para apoiar o desenvolvimento de tecnologias mais acessíveis e conectar a ponte de comunicação entre surdos e ouvintes. Atualmente, a plataforma se concentra na captura de movimentos das mãos, com planos futuros de incluir o reconhecimento de sinais não manuais, como expressões faciais.

Lista de funções

• Módulo de aprendizado de ASLInstrução básica de vocabulário de linguagem de sinais é fornecida e os usuários podem assistir a demonstrações por meio de avatares 3D.
• Sistema de feedback em tempo realUso de câmeras e IA para analisar os gestos do usuário e fornecer sugestões corretivas instantâneas.
• Função de contribuição de vídeoPermitir que os usuários façam upload de vídeos de linguagem de sinais para ajudar a expandir o conjunto de dados de ASL da plataforma.
• Suporte a conjuntos de dados abertosFornecimento de recursos de vídeo ASL validados para o desenvolvimento de aplicativos de IA aos desenvolvedores.
• Interação com a comunidadeConectando alunos e a comunidade surda para facilitar o compartilhamento de conhecimento e o intercâmbio cultural.

Usando a Ajuda

A Signs é uma plataforma on-line que não requer instalação para ser usada, basta acessar https://signs-ai.com/即可开始体验 por meio de seu navegador. Abaixo está um guia do usuário detalhado para ajudá-lo a começar rapidamente e aproveitar ao máximo seus recursos.

Como começar

1. Acesso ao site
   Abra seu navegador e digite o URL https://signs-ai.com/ para acessar a página inicial. Você verá duas opções principais: Learn (aprender) e Contribute (contribuir). Você pode visualizar parte do conteúdo sem se registrar, mas é recomendável criar uma conta para desbloquear todas as funcionalidades.
2. Criar uma conta
   Clique no botão "Sign Up" no canto superior direito e digite seu endereço de e-mail e senha para concluir o registro. Depois de registrado, você poderá fazer login para salvar seu progresso e carregar vídeos.
3. Requisitos de equipamento
   Verifique se o seu dispositivo está equipado com uma câmera (para feedback em tempo real) e uma conexão estável com a Internet. Recomenda-se um computador desktop ou laptop para obter a melhor experiência. Os telefones celulares também podem ser usados, mas a tela menor pode interferir na operação.

Funções principais

1. aprender a língua de sinais americana (módulo Aprender)

• Ir para a página de aprendizado
  Clique em "Learn" (Aprender) na página inicial para acessar a interface de aprendizado da linguagem de sinais. Palavras comuns em ASL, como "hello" (olá) e "family" (família), são mostradas aqui.
• Ver demonstração de headshots em 3D
  Selecione uma palavra do vocabulário e o sistema exibirá um avatar em 3D demonstrando os movimentos gestuais dessa língua de sinais. Você pode assistir de diferentes ângulos para se certificar de que entendeu os detalhes de cada pose de mão.
• Praticar e receber feedback
  Ligue a câmera, aponte-a para suas mãos e imite os gestos do avatar 3D. A IA analisa seus movimentos em tempo real e exibe um feedback na tela. Por exemplo, se a posição dos dedos estiver incorreta, será exibido um aviso: "Levante o dedo mínimo" ou "A palma da mão deve estar voltada para a esquerda". Recomendamos praticar em um ambiente silencioso e bem iluminado para aumentar a precisão do reconhecimento.
• estudo avançado
  A plataforma oferece um modelo de aprendizado gradativo que aumenta progressivamente a dificuldade, desde o vocabulário para iniciantes até frases complexas. Após a conclusão de cada estágio, mais conteúdo pode ser desbloqueado para alunos de longo prazo.

2) Contribua com vídeos na língua de sinais (módulo Contribute)

• Ir para a página Contribuir
  Clique em "Contribute" (Contribuir) na página inicial para acessar a tela de upload de vídeo. Aqui você encontrará uma lista de palavras que são exigidas atualmente pela plataforma, como "love" (amor) ou "school" (escola).
• gravação de vídeo
  Clique no botão "Record" (Gravar) ao lado do vocabulário-alvo e o sistema ativará a câmera. Siga as instruções para fazer o movimento correspondente na linguagem de sinais e grave um vídeo de 3 a 5 segundos. Após a gravação, você pode visualizar o vídeo para garantir que a ação esteja claramente visível.
• Envio e validação
  Clique em "Submit" (Enviar) para carregar seu vídeo. Todos os envios são revisados por intérpretes surdos e certificados quanto à precisão. Depois de revisado, seu vídeo será adicionado ao conjunto de dados e você receberá uma nota de agradecimento.
• advertência
  Mantenha o plano de fundo simples ao gravar, evite o obscurecimento das mãos e garanta que os movimentos estejam em conformidade com a ASL. A plataforma fornecerá um vídeo de demonstração para referência.

3. uso aprofundado do sistema de feedback em tempo real

• Ajuste do ângulo da câmera
  Certifique-se de que ambas as mãos estejam no centro do quadro ao aprender ou gravar. Se o reconhecimento de IA falhar, ajuste a altura ou a distância da câmera, geralmente mantendo 50 a 80 cm.
• Compreensão das sugestões de feedback
  O feedback não se limita ao texto, mas às vezes é exibido um marcador visual verde (correto) ou vermelho (incorreto). Repita o exercício até que a luz verde acenda, indicando que o gesto está totalmente correto.
• Otimização da experiência
  Se o feedback estiver atrasado, verifique a velocidade da rede ou reduza a resolução da tela. A plataforma suporta a troca manual de nitidez para se adaptar ao desempenho de diferentes dispositivos.

Detalhes da operação do recurso

• Avatar 3D interativo
  Clique no avatar para pausar, girar ou ampliar para ver mais de perto os detalhes do gesto. Os iniciantes podem imitar gradualmente com a função de reprodução lenta.
• Significância das contribuições do conjunto de dados
  Cada upload de vídeo ajudou a plataforma a acumular dados, o que culminou em um banco de dados de destino contendo 400.000 videoclipes. Isso não apenas apoia o aprendizado individual, mas também avança o uso da tecnologia de IA no campo da surdez, como o reconhecimento da linguagem de sinais por videoconferência.
• Envolvimento da comunidade
  O site é atualizado regularmente com classificações de contribuição para mostrar os usuários ativos. Você também pode trocar experiências de aprendizado ou fazer sugestões com outras pessoas na área do fórum.

Dicas de uso

• Conselhos para iniciantes
  Comece com o vocabulário básico e pratique por 10 minutos por dia, familiarizando-se gradualmente com os padrões de sinais.
• Sugestões de carregador de vídeo
  Verifique o vídeo de demonstração antes de gravá-lo para garantir que os movimentos sejam padronizados e para evitar modificações repetitivas.
• Suporte técnico
  Se tiver alguma dúvida, envie um e-mail para "Fale conosco" na parte inferior do site e a equipe responderá em até 48 horas.

Seguindo essas etapas, você poderá dominar facilmente as principais funções do Signs-ai para aprimorar suas habilidades em ASL e, ao mesmo tempo, contribuir com a comunidade. O site é simples e intuitivo, adequado para usuários de todas as idades, especialmente para famílias de crianças com surdez ou entusiastas da linguagem de sinais, é uma plataforma indispensável para aprender e compartilhar.