JetBrains 오픈 소스 Mellum: 코드 완성을 위해 설계된 전문 모델

소프트웨어 개발 도구 제공업체인 JetBrains는 최근 코드 완성을 위해 특별히 설계된 언어 모델인 Mellum의 기본 버전을 오픈소스화하여 허깅 페이스 플랫폼에서 사용할 수 있게 되었다고 발표했습니다. 이번 조치는 소프트웨어 개발의 AI 분야에서 투명성과 협업을 촉진하기 위한 것입니다.

Mellum의 디자인 철학은 모든 것을 갖추기 위해 노력하는 대신 코드 완성이라는 한 가지 핵심 작업에 집중합니다. JetBrains는 이러한 유형의 모델을 다음과 같이 부릅니다. 전용 모델 (전문화 모델)의 설계 목표는 맹목적으로 광범위한 범용성을 추구하는 것이 아니라 특정 도메인에 대한 심층적인 기능을 갖추는 것이라고 강조합니다. 이 모델은 Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust 및 Ruby 등 다양한 프로그래밍 언어의 코드 완성을 지원합니다.

오픈 소스 Mellum-4b-base 은 Mellum 제품군의 첫 번째 모델입니다. JetBrains는 향후 격차 예측과 같은 다양한 코딩 작업을 위한 전용 모델을 추가하여 이 제품군을 확장할 계획입니다.

오픈 소스 뒤에 숨겨진 고려 사항

Mellum을 오픈 소스로 만들기로 한 결정은 가볍게 내려진 것이 아닙니다. 기존 오픈 소스 모델을 미세 조정한 버전이 아닌, IDE 제품을 위한 클라우드 기반 코드 완성 기능을 제공하기 위해 JetBrains에서 처음부터 교육을 받았으며, 작년에 공개되었습니다.

JetBrains는 오픈 소스 멜럼이 투명성, 협업 및 공유 발전의 힘에 대한 믿음을 기반으로 한다고 말합니다. Linux와 Git에서 Node.js와 Docker에 이르기까지 오픈 소스 패러다임은 기술의 주요 도약의 핵심 동력이었습니다. 이미 일부 업계 리더를 능가하는 오픈 소스 LLM이 있다는 점을 고려할 때, AI의 전반적인 발전도 비슷한 궤적을 따를 가능성이 높습니다.

이번 조치는 JetBrains가 핵심 기술 중 하나를 커뮤니티에 공개한다는 의미이기도 합니다. 연구자, 교육자, 시니어 기술팀에게 전문 모델의 내부 작동 방식에 대한 인사이트를 얻을 수 있는 기회를 제공함으로써, Mellum을 허깅 페이스에 공개합니다. 이는 단순한 도구 제공을 넘어 개방형 연구와 협업에 대한 투자입니다.

특화 모델이란 무엇인가요?

머신러닝 분야에서 전문화는 새로운 개념이 아니라 특정 작업을 효율적이고 효과적으로 해결하기 위한 모델을 구축하는 것으로, 수십 년 동안 모델 설계를 이끌어온 핵심 접근 방식입니다. 그러나 최근 몇 년 동안 AI 분야의 논의는 점차 일반화된 대규모 모델로 모든 작업을 처리하려는 방향으로 전환되었지만, 이는 종종 상당한 계산 및 환경 비용을 수반합니다.

전용 모델대신 특정 영역에서 우수한 성과를 내는 모델을 구축한다는 전문화의 원래 목적으로 돌아갑니다.

이는 'T-스킬'에 비유할 수 있는데, 개인이 여러 주제에 대한 폭넓은 지식(T의 가로 막대인 지식의 폭)을 가지고 있지만 특정 영역에 대한 깊은 전문성(T의 세로 막대인 지식의 깊이)을 가지고 있는 것을 말합니다. 전문화 모델은 동일한 철학을 따르며, 모든 일을 처리하기 위해 만들어진 것이 아니라 특정 영역에서 진정으로 가치를 발휘할 수 있도록 한 가지 업무에 전문화되고 탁월합니다.

Mellum은 이러한 철학의 구체화입니다. 코드 완성부터 시작하여 코드 관련 작업을 위해 설계된 비교적 작고 효율적인 모델입니다.

이러한 접근 방식을 채택하는 이유는 모든 문제에 일반적인 솔루션이 필요한 것은 아니며, 모든 팀이 대규모의 포괄적인 모델을 실행할 자원이나 필요성을 가지고 있는 것도 아니기 때문입니다. Mellum과 같은 전문화된 모델은 뚜렷한 이점을 제공합니다:

• 도메인별 작업에 대한 정밀도를 제공합니다.
• 운영 및 배포 측면에서 비용 효율적입니다.
• 계산 필요량과 탄소 발자국이 적습니다.
• 연구자, 교육자 및 소규모 팀에게 더 나은 접근성을 제공합니다.

이는 기술적으로 후퇴하는 것이 아니라 검증된 전문화 원칙을 최신 AI 문제에 적용하는 것입니다. JetBrains는 이것이 더 현명한 방법이라고 생각합니다.

멜럼의 성능은 어떤가요?

Mellum은 다국어 4B 파라메트릭 모델(Mellum-4b-base), 코드 완성을 위해 특별히 최적화되었습니다. JetBrains는 여러 데이터 세트에 대해 여러 언어로 벤치마킹하고 IDE에서 광범위한 수동 평가를 수행했습니다.

아래는 파라미터 수가 더 많은 여러 모델과 Mellum의 성능을 비교한 데이터입니다(자세한 내용, 결과 및 비교는 Hugging Face의 모델 카드에서 확인할 수 있습니다):

참고: 휴먼에벌 인필링은 코드 채우기 기능을 테스트하고, RepoBench는 실제 코드 베이스의 컨텍스트에서 성능을 평가하며, SAFIM은 또 다른 코드 완성 벤치마크 테스트입니다. 비교 모델로는 Meta의 CodeLlama 제품군과 DeepSeek 코더 모델의

데이터에 따르면 멜럼은 참여자 수가 적음에도 불구하고 특정 벤치마크(특히 규모를 고려할 때)에서 경쟁력 있는 성능을 발휘합니다. 이는 전용 모델이 특정 작업에서 효율적인 성능을 달성할 수 있다는 개념을 더욱 뒷받침합니다. 매개변수 수가 모델의 능력을 측정하는 유일한 척도는 아니지만, 작업별 최적화도 중요합니다.

멜럼은 누구를 위한 서비스인가요?

현재 허깅 페이스에 출시된 멜럼 버전은 모델을 직접 미세 조정하거나 배포하지 않을 수 있는 일반 최종 개발자를 주 대상으로 하지 않는다는 점을 분명히 하는 것이 중요합니다.

이 모델은 다음 그룹에 공개됩니다:

1. AI/ML 연구원: 특히 소프트웨어 개발에서 AI의 역할을 탐구하고 벤치마킹을 수행하거나 모델 해석 가능성을 조사하는 학계에서 유용하게 활용할 수 있습니다.
2. AI/ML 엔지니어 및 교육자 도메인별 언어 모델을 구축, 미세 조정 및 적용하는 방법을 배우거나 LLM 아키텍처 및 전문화에 중점을 둔 교육 프로젝트를 지원하기 위한 기초로 사용할 수 있습니다.

지금 멜룸 체험하기

Mellum 기본 모델은 현재 다음에서 사용할 수 있습니다. 포옹하는 얼굴 출시. JetBrains는 이것이 시작에 불과하며, 범용성을 목표로 하는 것이 아니라 집중적이고 효율적인 도구를 구축하는 것이 목표라고 강조합니다. Mellum을 기반으로 탐색, 실험 또는 구축하고자 하는 사용자는 이제 이 모델에 액세스하여 사용해 볼 수 있습니다.