네모트론 3 - NVIDIA에서 출시한 오픈 소스 AI 모델 제품군

네모트론 3란 무엇인가요?

Nemotron 3는 NVIDIA에서 나노, 슈퍼 및 울트라 크기로 출시한 오픈 소스 AI 모델 제품군입니다. 네모트론 3 나노는 추론 효율을 크게 개선하고 운영 비용을 절감하는 잠재적 MoE 아키텍처를 기반으로 구축되었습니다. 네모트론 3 나노는 활성화당 최대 30억 개의 파라미터를 지원하며 소프트웨어 디버깅, 콘텐츠 요약, AI 보조 워크플로, 낮은 추론 비용 정보 검색과 같은 작업에 최적화되어 있습니다. 이전 버전과 비교했을 때 토큰 네모트론 3 슈퍼와 울트라는 각각 약 1000억 개와 5000억 개의 파라미터를 가지고 있으며 다중 지능 애플리케이션과 복잡한 AI 시나리오에 적합합니다.

네모트론 3의 특징

• 모델 아키텍처전문가 혼합(MoE) 아키텍처는 맘바 계층, 트랜스포머 계층, MoE 라우팅 메커니즘을 결합하여 긴 시퀀스의 효율적인 처리, 고정밀 추론, 확장 가능한 계산 효율을 달성합니다. 이 아키텍처는 대규모 다중 지능 시스템을 지원하며 '전문가' 네트워크를 동적으로 호출하여 계산 비용을 절감하고 처리량을 늘릴 수 있습니다.
• 모델 크기: 세 가지 크기를 사용할 수 있습니다:
  • 나노에지 디바이스 배포와 같은 가볍고 효율적인 작업을 위한 300억 개의 매개변수와 30억 개의 활성 매개변수.
  • Super고정밀 추론에 중점을 두고 협업형 다중 지능 애플리케이션을 위해 설계된 1,000억 개의 매개변수.
  • Ultra과학 컴퓨팅, 긴 문서 분석 등과 같은 복잡한 시나리오를 위한 약 5,000억 개의 매개변수를 지원합니다.
• 매우 긴 컨텍스트 지원전체 작업 컨텍스트, 기록 및 복잡한 계획을 처리할 수 있는 1백만 개의 토큰 컨텍스트 창을 지원하여 정보 파편화를 줄입니다.
• 다중 토큰 예측긴 시퀀스 추론 및 코드 생성과 같은 작업의 응답성을 개선하기 위해 한 번에 여러 토큰을 생성합니다.
• 낮은 메모리 오버헤드NVFP4와 같은 최적화된 아키텍처와 정량화 기술을 통해 성능을 유지하면서 메모리 공간을 줄입니다.

네모트론 3의 핵심 이점

• 하이브리드 아키텍처 혁신MoE 아키텍처는 맘바 레이어와 트랜스포머 레이어를 사용하여 계산 효율성을 최적화하고 모델 성능을 개선합니다.
• 추론 효율성 향상네모트론 3 나노는 이전 버전보다 4배 더 높은 처리량과 60% 더 효율적인 추론 토큰 생성을 제공하여 추론 비용을 크게 절감합니다.
• 강력한 긴 텍스트 처리 기술나노 모델은 100만 토큰의 컨텍스트 창을 지원하여 긴 텍스트를 효율적으로 처리하고 정보 연관성의 정확도를 향상시킵니다.
• 다양한 요구 사항을 충족하는 다양한 사양나노, 슈퍼, 울트라는 가벼운 작업부터 복잡한 다중 지능 애플리케이션에 이르기까지 다양한 애플리케이션 시나리오에 최적화되어 있습니다.
• 오픈 소스 및 사용자 지정모델 가중치는 NVIDIA 오픈 모델 라이선스에 따라 공개되며, 개발자는 GitHub를 통해 손쉽게 커스터마이징 및 최적화를 위한 자세한 교육 및 교육 후 레시피에 액세스할 수 있습니다.

네모트론 3의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://nvidianews.nvidia.com/news/nvidia-debuts-nemotron-3-family-of-open-models
• 허깅페이스 모델 라이브러리:: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8

네모트론 3의 대상은 다음과 같습니다.

• AI 개발자 및 연구원네모트론 3는 맞춤형 개발 또는 연구를 위해 기존 모델을 기반으로 구축하고자 하는 개발자와 연구자를 위해 오픈 소스 모델과 자세한 교육 레시피를 제공합니다.
• 기업 기술팀효율적인 저비용 추론 기능을 필요로 하는 조직에게 Nemotron 3의 높은 처리량과 낮은 추론 비용 기능은 소프트웨어 디버깅 및 콘텐츠 요약과 같은 비즈니스 시나리오에 이상적인 지능형 바디 개발 툴입니다.
• 다중지능체 애플리케이션 개발자네모트론 3의 다중 사양 설계, 특히 슈퍼 및 울트라 버전은 복잡한 인간-컴퓨터 상호작용 시스템이나 자동화된 프로세스와 같은 다중 지능 애플리케이션 시나리오 개발에 적합합니다.
• AI 어시스턴트 개발자Nano 버전의 효율적인 추론 및 긴 텍스트 처리 기능은 보다 원활한 사용자 경험을 제공하는 지능형 비서 및 챗봇과 같은 애플리케이션을 개발하는 데 이상적입니다.
• 교육 및 학술 기관오픈 소스 모델과 유연한 사용자 지정 기능으로 교육 기관에서 교육 및 연구에 사용하기에 적합하며, 학생과 연구자가 최신 AI 기술을 더 잘 이해하고 적용할 수 있도록 도와줍니다.