헤비급! 일주일 만에 훈련된 세계 최초의 탈중앙화 100억 모델, 오픈소스!

세계 최초로 분산 학습된 10억 개의 파라메트릭 모델이 탄생했습니다!
프라임 인텔리전스 팀은 미국, 유럽, 아시아 전역의 분산형 트레이닝 네트워크가 100억 개의 매개변수로 구성된 대규모 모델을 성공적으로 트레이닝하는 획기적인 작업을 완료했다고 발표했습니다. 이는 AI 학습의 혁신적인 단계입니다.
트레이닝 패널에서 볼 수 있듯이, INTELLECT-1이라는 프로젝트는 이미 1조(1T) 토큰의 트레이닝을 완료했습니다.
손실 곡선과 당혹감 곡선 모두 바람직한 하향 추세를 보이고 있으며, 초당 생성되는 토큰 수는 안정적으로 유지되고 있어 훈련 과정이 매우 성공적이었다는 것을 나타냅니다.
이 프로젝트의 성공은 많은 파트너의 지원이 없었다면 불가능했을 것입니다.
허깅 페이스, 세미애널리시스, Arcee.ai, 하이퍼볼릭 랩스, 올라스, 아카시, 셸링 AI 등 여러 조직이 이 훈련에 귀중한 연산 리소스를 제공했습니다. 이 전례 없는 협력 모델은 AI 분야에서 새로운 유형의 협업을 보여줍니다.
프로젝트의 리더보드에서 볼 수 있듯이, 전 세계의 기여자들이 엄청난 양의 컴퓨팅 시간을 제공했습니다. 최고 기여자는 8,230시간에 달했으며 샌 마테오, 댈러스, 헬싱키, 스톡홀름에 걸쳐 참여자가 분포되어 있습니다. 이러한 글로벌 산술 협업 모델을 통해 AI 훈련은 더 이상 소수의 거대 기술 기업의 데이터 센터에만 국한되지 않습니다.


기술적인 측면에서도 이 프로젝트의 혁신은 매우 인상적입니다.
연구팀은 지역 간 훈련의 문제를 해결하기 위해 DiLoCo 분산 훈련 기법을 채택했습니다. 분산 환경의 다양한 문제에 대처하기 위해 연구팀은 내결함성 훈련 메커니즘과 비동기식 분산 체크포인트 기법도 구현했습니다.
메모리 최적화 측면에서 팀은 FSDP1의 메모리 할당 문제를 성공적으로 해결한 FSDP2 프레임워크로 업그레이드하기로 결정했습니다.
한편, 텐서 병렬 컴퓨팅 기술을 적용하여 훈련 효율을 크게 향상시켰습니다.
이러한 기술 혁신의 뒤에는 묵묵히 일하는 강력한 연구팀이 있습니다. 프로젝트 리더는 특히 내결함성 훈련에 기여한 트리스탄 라이스와 준지 왕, 비동기 분산 체크포인팅에 기여한 치엔친 황과 아이리스 장에게 감사를 표합니다. 또한 텐서 병렬 컴퓨팅에 대한 조언을 아끼지 않은 이푸 왕에게도 감사를 표합니다.
더욱 흥미로운 점은 개발팀이 일주일 이내에 기본 모델, 체크포인트 파일, 학습 후 모델, 학습 데이터셋을 포함한 전체 오픈 소스 버전을 공개할 예정이라고 발표했다는 점입니다. 이는 곧 전 세계의 연구자와 개발자들이 이 모델을 기반으로 혁신과 개발을 할 수 있게 된다는 것을 의미합니다.
이미 실험을 시작하고 싶어하는 개발자들이 있습니다. 한 개발자는 미국 서부 해안과 유럽에 있는 두 개의 4090 그래픽 카드에서 모델 추론을 시도하는 데모를 시연했습니다. 두 지역 간의 네트워크 연결이 이상적이지는 않았지만 이 실험은 모델의 유연성과 적응성을 입증했습니다.
이 프로젝트의 성공은 단순한 기술적 혁신이 아니라 모두를 위한 AI의 민주화에 중요한 이정표가 될 것입니다.
이는 글로벌 협업을 통해 기존 AI 교육의 한계를 극복하고 더 많은 조직과 개인이 AI 개발의 물결에 동참할 수 있는 유리한 위치에 있음을 증명합니다.