키미 리니어 - 달의 어두운 면에 오픈소스화된 새로운 하이브리드 선형 주의 아키텍처

키미 리니어란 무엇인가요?

Kimi 리니어는 다크 사이드 오브 더 문에서 오픈소스화한 새로운 하이브리드 선형 주의 아키텍처로, 세분화된 게이팅 메커니즘을 통해 기존 주의 모델을 최적화하고 하드웨어 효율성과 메모리 제어를 크게 개선하는 키미 델타 주의(KDA)를 핵심으로 합니다. 이 아키텍처는 3:1 하이브리드 계층 구조, 즉 3개의 KDA 선형 주의 레이어마다 하나의 전체 주의 레이어(MLA)를 삽입하는 방식을 채택하여 효율적인 로컬 정보 처리를 보장하는 동시에 주기적으로 글로벌 종속성을 포착합니다. 전문가 혼합(MoE) 기법과 결합된 Kimi 리니어는 480억 개의 파라미터 규모에서 순방향 전파당 30억 개의 파라미터만 활성화하여 계산 효율성을 획기적으로 개선합니다.

키미 리니어의 특징

• 효율적인 아키텍처 설계3:1 하이브리드 계층 구조는 선형적 집중과 전체 집중을 결합하여 효율성과 글로벌 정보 캡처의 균형을 맞춥니다.
• 혁신적인 주의 집중 메커니즘메모리 제어 및 하드웨어 효율성을 최적화하기 위해 채널 레벨 대각선 게이팅과 특수 매트릭스 파라미터화를 도입한 키미 델타 어텐션(KDA)을 코어에 적용했습니다.
• 전문가 하이브리드 기술전문가 혼합(MoE)을 통합하여 480억 개의 파라미터 크기에서 순방향 전파당 30억 개의 파라미터만 활성화하여 계산 효율성을 개선합니다.
• 대폭적인 성능 개선긴 시퀀스 작업의 경우 KV 캐시 사용량을 75%까지 줄이고 긴 컨텍스트 디코딩 처리량을 전체 MLA 모델의 최대 6배까지 개선했습니다.
• 오픈 소스 및 사용 편의성KDA 커널 및 vLLM 이 구현은 연구 및 애플리케이션을 위한 사전 교육 및 교육 튜닝 모델 체크포인트를 제공하기 위해 오픈소스로 공개되었습니다.

키미 리니어의 핵심 강점

• 아키텍처의 이점키미 리니어는 선형 주의와 전체 주의가 결합된 혁신적인 3:1 하이브리드 계층 구조를 사용하여 긴 순차 데이터를 효율적으로 처리할 수 있도록 효율성과 글로벌 정보 캡처의 균형을 맞춥니다.
• 성능 이점KV 캐시 사용량이 75% 감소하고 긴 컨텍스트 디코딩 처리량이 전체 MLA 모델의 6배로 증가하여 긴 시퀀스 작업 처리 효율이 크게 향상됩니다.
• 효율성 이점최신 기술인 혼합 전문가 혼합(MoE)은 480억 개의 파라미터 크기에서 순방향 전파당 30억 개의 파라미터만 활성화하여 계산 비용을 절감합니다.
• 혁신의 이점메모리 제어 및 하드웨어 효율성을 최적화하고 모델 성능을 개선하기 위해 채널 레벨 대각선 게이팅과 특수 매트릭스 파라미터화를 도입한 키미 델타 어텐션(KDA).

키미 리니어의 공식 웹사이트는 무엇인가요?

• 깃허브 리포지토리:: https://github.com/MoonshotAI/Kimi-Linear
• 허깅페이스 모델 라이브러리:: https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct
• 기술 문서:: https://github.com/MoonshotAI/Kimi-Linear/blob/master/tech_report.pdf

키미 리니어의 대상

• 자연어 처리(NLP) 연구원키미 리니어는 보다 효율적인 언어 모델링 아키텍처와 주의 메커니즘을 탐구하는 데 도움이 되는 새로운 연구 방향과 도구를 제공합니다.
• 딥러닝 엔지니어오픈 소스 구현과 사전 학습된 모델 체크포인트를 통해 엔지니어가 프로젝트에 빠르게 통합하여 모델 성능과 효율성을 개선할 수 있습니다.
• 대규모 데이터 처리 개발자텍스트 생성, 기계 번역 등과 같이 긴 텍스트나 대규모 데이터 세트를 처리해야 하는 시나리오에 적합합니다.
• 모델 효율성에 대한 요구가 높은 사용자키미 리니어는 KV 캐시 사용량과 디코딩 처리량에서 장점이 있어 모델 운영 효율과 리소스 사용량에 민감한 애플리케이션 시나리오에 적합합니다.
• 오픈 소스 커뮤니티 기여자오픈 소스 특성상 커뮤니티 구성원이 개선 및 확장에 참여할 수 있으며 오픈 소스 프로젝트에 기여하는 데 관심이 있는 개발자에게 적합합니다.