SignGemma - 구글 딥마인드의 수어 번역 모델

SignGemma란 무엇인가요?

SignGemma는 구글 딥마인드의 세계에서 가장 강력한 수화 통역 AI 모델로, 미국 수화(ASL)를 영어 텍스트로 정확하게 번역할 수 있습니다. 이 모델은 다중 모드 학습을 기반으로 시각 및 텍스트 데이터를 결합하여 수화 동작을 실시간으로 캡처하고 0.5초 미만의 응답 지연 시간으로 신속하게 텍스트로 번역합니다.SignGemma는 소비자 등급 GPU에서 실행되고 엔드포인트 배포를 지원하며 사용자 개인 정보를 보호하는 매우 효율적인 아키텍처로 설계되었습니다.SignGemma는 기본적인 제스처를 인식하고 문맥과 감정 표현을 이해하며 3D 의미 이해 프레임워크를 기반으로 긴 문장의 일관성을 개선하는 기능으로 설계되었습니다.SignGemma는 기본 동작을 인식하고 맥락과 감정 표현을 이해하며 긴 문장의 일관성을 개선하는 기능으로 설계되었습니다. 주로 학습 지원, 교육 자료 개발, 공공 서비스 분야에서 사용되며 청각 장애인에게 보다 편리한 의사소통 도구를 제공하고 사회의 포용적 발전에 기여하고 있습니다.

SignGemma의 주요 기능

• 실시간 번역0.5초 미만의 지연 시간으로 수화 동작을 텍스트로 빠르게 번역하여 실시간 의사소통에 적합합니다.
• 정확한 식별기본 제스처 인식, 문맥 및 감정 표현 이해, 정확한 번역을 지원합니다.
• 다국어 지원현재 미국 수어(ASL)에서 영어로의 번역이 지원됩니다.
• 엔드사이드 배포로컬 장치에서 실행을 지원하여 사용자 개인 정보를 보호하며, 개인 정보 보호 요구 사항이 높은 시나리오에 적합합니다.

SignGemma 사용 방법

• 조기 테스트 액세스 신청개발자 기반SignGemma 신청 페이지조기 테스트 액세스를 받으세요.

SignGemma의 핵심 강점

• 높은 정확도수화 동작을 정확하게 인식하고 문맥과 감정을 이해하며 긴 문장을 일관성 있게 번역합니다.
• 짧은 지연 시간응답 지연이 0.5초 미만인 실시간 번역으로 실시간 커뮤니케이션에 적합합니다.
• 개인정보 보호사용자 개인정보 보호를 위해 엔드사이드 배포 및 데이터의 로컬 처리를 지원합니다.
• 효율적인 아키텍처하드웨어 요구 사항이 낮고 관리 가능한 비용으로 일반 소비자용 GPU에서 실행을 지원합니다.
• 멀티모달 교육시각적 데이터와 텍스트 데이터를 결합하여 제스처 다이내믹과 비손동작을 캡처합니다.
• 감정 및 상황 이해얼굴 표정과 몸짓을 캡처하여 자연스러운 번역을 제공합니다.
• 광범위한 애플리케이션 시나리오교육, 의료, 공공 서비스 및 기타 영역에 적용하여 접근 가능한 커뮤니케이션을 촉진합니다.

SignGemma의 대상

• 청각 장애인일상적인 커뮤니케이션, 학습 지원, 의료 커뮤니케이션 및 공공 서비스 시나리오에서 사용자가 다른 사람들과 더 편리하게 상호 작용할 수 있도록 지원합니다.
• 교육자청각 장애인을 위한 교육 지원, 수화 교육 자료 개발 및 교육 홍보.
• 의료진의료 환경에서 의사가 청각 장애 환자와 효과적으로 의사소통하고 의료 서비스의 질을 개선할 수 있도록 지원합니다.
• 공공 서비스 직원청각 장애인이 대중교통, 공항 등에서 정보 및 서비스를 이용할 수 있도록 지원합니다.
• 연구 작업자수화 연구 및 기술 개발을 위한 도구와 참고 자료를 제공합니다.
• 대중청각 장애인과의 의사소통을 촉진하고 사회 통합을 촉진합니다.