Ai2 OLMoE: 오프라인에서 실행되는 OLMoE 모델 기반의 오픈 소스 iOS AI 앱

일반 소개

Ai2 OLMoE는 앨런 인공지능 연구소(Ai2, Allen Institute for AI)에서 개발한 오픈 소스 iOS 앱으로, 기기에서 완전히 실행되는 인공지능 모델을 제공합니다. 이 앱은 클라우드 연결 없이 오프라인으로 실행할 수 있어 사용자 개인정보와 데이터 보안을 보장하는 Ai2의 오픈 소스 OLMoE 모델을 활용하며, Ai2 OLMoE는 로컬 AI 모델을 개선하는 방법을 모색하는 연구자에게 적합할 뿐만 아니라 개발자에게 새로운 AI 경험을 빠르게 프로토타이핑할 수 있는 도구를 제공합니다.

온라인 체험: https://playground.allenai.org/?model=olmoe-0125

기능 목록

• 완전한 오픈 소스Ai2 OLMoE의 모델과 애플리케이션 코드는 완전한 오픈 소스로 제공되므로 연구자와 개발자가 실험하고 개선할 수 있습니다.
• 효율적인 운영효율적인 전문가 혼합을 사용하여 장치에서 고성능 AI 계산.
• 개인정보 보호모든 작업은 디바이스에서 이루어지므로 사용자 데이터가 디바이스를 떠나지 않습니다.
• 다기능 통합OLMoE 모델을 다른 iOS 앱에 통합하여 기능을 확장할 수 있도록 지원합니다.
• 커뮤니티 지원Ai2의 Discord 서버에 가입하여 다른 연구자 및 개발자와 소통하고 프로젝트와 경험을 공유하세요.

도움말 사용

설치 프로세스

1. App Store를 열고 "Ai2 OLMoE"를 검색합니다.
2. '받기' 버튼을 클릭하여 앱을 다운로드하고 설치합니다.
3. 설치가 완료되면 앱을 열고 초기 설정을 위한 지시를 따릅니다.

사용 가이드라인

AI 모델 체험하기

1. Ai2 OLMoE 애플리케이션을 엽니다.
2. 모델과 상호 작용을 시작하려면 '경험 모델' 옵션을 선택합니다.
3. 작업을 입력하거나 선택하고 모델이 어떻게 작동하는지 관찰하세요.

AI 모델 연구 및 개선

1. Ai2 OLMoE 앱을 다운로드하여 설치합니다.
2. 앱을 열고 '조사 모드'를 선택합니다.
3. 애플리케이션 내에서 제공되는 도구와 데이터 세트를 사용하여 모델을 학습하고 개선할 수 있습니다.
4. 개선된 모델을 애플리케이션에 업로드하고 성능을 테스트합니다.

다른 iOS 앱과 통합

1. Ai2 OLMoE의 GitHub 오픈 소스 리포지토리(앱 내에 제공된 링크)에 액세스합니다.
2. 코드 베이스를 다운로드하고 문서 지침에 따라 구성하세요.
3. iOS 앱에 통합하여 OLMoE 모델의 기능을 확장하세요.

세부 운영 절차

1. 다운로드 및 설치앱 스토어에서 Ai2 OLMoE 앱을 검색하여 다운로드하고 지시에 따라 설치를 완료합니다.
2. 초기 설정앱을 열어 언어 선택 및 개인정보 보호 설정을 포함한 초기 설정을 합니다.
3. 경험적 모델'체험 모드'를 선택하고 작업을 입력하거나 선택한 다음 모델이 어떻게 작동하는지 관찰합니다.
4. 연구 모델'연구 모드'를 선택하고 모델 학습 및 개선을 위해 제공된 도구와 데이터 세트를 사용합니다.
5. 통합 모드GitHub 코드 저장소를 방문하여 다른 iOS 앱에 모델을 통합하기 위한 코드를 다운로드하고 구성하세요.

Ai2 OLMoE에 대한 자세한 정보

앨런 인공지능 연구소(AI2)의 OLMoE 모델이 이제 최첨단 오픈 소스 디바이스 측 모델로 공식 출시되었습니다.

앨런 인공지능 연구소는 우수한 완전 오픈 소스 언어 모델을 구축한다는 비전을 오랫동안 품어 왔습니다. 이제 그 목표를 향한 중요한 발걸음을 내디뎠습니다. 앨런 인공 지능 연구소는 완전 오픈 소스 iOS 앱을 출시하여 완전 오픈 소스의 경계를 재정의했습니다. 이 앱은 사용자가 자신의 기기에서 안전하고 비공개적으로 모델을 체험할 수 있도록 설계되었으며, 오픈 소스 철학에 대한 AIII의 심오한 확장을 보여줍니다.

이 완전 오픈 소스 앱은 연구자들이 디바이스 측 모델을 개선하는 방법을 모색하고 개발자들이 혁신적인 AI 경험을 위한 프로토타입을 제작할 수 있도록 지원합니다. 오픈 소스라는 특성은 연구자에게 귀중한 플랫폼을 제공할 뿐만 아니라 개발자 커뮤니티의 무한한 창의성을 자극하여 디바이스 측면의 AI 기술 발전과 애플리케이션을 촉진합니다.

사용자는 지금 Apple 앱 스토어에서 앱을 다운로드하거나 코드 리포지토리에서 소스 코드를 다운로드하여 직접 앱을 빌드할 수 있습니다. 하드웨어 고려 사항으로 인해 OLMoE 앱의 첫 번째 버전은 iPhone 15 Pro 이상 또는 M 시리즈 칩이 탑재된 모든 iPad에서만 작동한다는 점에 유의하세요.

개방형 에코시스템의 깊이와 폭을 넓히다

앨런 인공지능 연구소는 OLMo 시리즈 모델을 처음 개발할 때부터 완전한 개방성의 원칙을 고수해 왔습니다. 최종 모델 가중치를 공개했을 뿐만 아니라 모델 구축 과정에 관련된 소프트웨어, 데이터 및 관련 기술 세부 정보도 오픈소스로 공개했습니다. Allen AI Institute는 진정한 개방성이란 모델 자체에만 국한되는 것이 아니라 사용자 경험까지 확장되어 누구나 접근할 수 있는 진정한 개방형 AI 생태계를 구축하는 것이라고 믿습니다. 다음과 같은 AI 기술 vLLM 및 SGLang은 대규모 언어 모델(LLM)을 클라우드 서버에 배포하는 개발자에게 강력한 힘을 실어준 훌륭한 오픈 소스 프로젝트입니다. Ollama 반면에 LM Studio와 같은 도구의 등장으로 사용자는 개인 컴퓨터에서 직접 오픈 가중치 모델을 경험할 수 있게 되었습니다.

최근 몇 년 동안 소형 모델의 성능이 비약적으로 향상되었습니다. 특히 2024년 말에는 7B 파라메트릭 모델이 전년도 최첨단 모델의 성능을 쉽게 능가할 것으로 예상됩니다. 동시에 모바일 처리 장치의 성능도 향상되어 다음과 같은 신호가 나타나고 있습니다. 디바이스 측면의 AI가 더 광범위하게 채택될 준비가 되어 있습니다..

이러한 트렌드를 더 잘 수용하기 위해 앨런 인공 지능 연구소는 OLMoE를 출시했습니다. 완전 오픈 소스 툴킷목표는 연구자와 개발자에게 다음과 같은 정보를 제공하는 것입니다. 디바이스 측 AI 실험 플랫폼OLMoE에는 다음과 같은 다양한 적용 시나리오가 있습니다:

• 실제 미션 탐험실제 애플리케이션 시나리오에서 최첨단 디바이스 측 모델을 직접 체험하고 실제 작업에서 어떤 기능을 수행할 수 있는지 알아보세요.
• 효율적인 로컬 AI 모델 개선에 관한 연구로컬 AI 모델의 효율성을 더욱 개선하고 디바이스 측 AI 최적화를 위한 아이디어를 제공하는 방법에 대해 알아보세요.
• 로컬 모델 테스트OLMoE에서 제공하는 오픈 소스 코드 기반을 사용하여 로컬 환경에서 사용자 행동 모델을 편리하게 테스트하고 검증할 수 있습니다.
• iOS 애플리케이션 통합OLMoE를 다른 iOS 앱에 원활하게 통합하여 AI 기술의 경계를 확장하세요.

클라우드 기반 모델에 비해 OLMoE와 같은 디바이스 측 모델의 가장 큰 장점은 다음과 같습니다. 완벽한 개인 정보 보호사용자의 프롬프트와 모델 응답은 항상 디바이스에서 로컬로 처리됩니다. 사용자 프롬프트와 모델 응답은 항상 디바이스에서 로컬로 처리되며 클라우드 서버에 업로드할 필요가 없으므로 사용자 데이터의 보안을 극대화할 수 있습니다. 또한 다음과 같은 이유로 인터넷 연결이 필요하지 않습니다.OLMoE는 어떤 장소, 어떤 네트워크 환경에서도 안정적이고 신뢰성 있게 작동하여 언제 어디서나 사용자에게 AI 서비스를 제공할 수 있습니다.

모델에서 애플리케이션으로의 도약

Ai2 OLMoE 애플리케이션을 성공적으로 구축하기 위해 앨런 인공 지능 연구소는 최첨단 완전 오픈 소스 기술 솔루션을 영리하게 결합했습니다. 이 애플리케이션의 초석은 알렌 인공 지능 연구소에서 개발한 가장 효율적이고 완전한 오픈 소스 언어 모델인 OLMoE 모델입니다. 이러한 기반을 바탕으로 Allen 인공 지능 연구소는 OLMo 2(모델 학습 중간에 적용)에 도입된 돌미노 하이브리드 학습 전략과 튜루 3 모델 학습을 영리하게 통합한 새로운 버전의 모델인 allenai/OLMoE-1B-7B-0125-Instruct를 출시했습니다. 그리고 Tülu 3 모델에 대한 훈련 후 최적화 체계를 제공합니다. 이러한 혁신을 통해 OLMoE의 새 버전은 기존 버전과 비슷한 수준의 효율성을 유지하면서 앨런 인공 지능 연구소의 평가 제품군에서 평균 35%의 성능 향상을 달성했습니다.

*알파카Eval은 알파카 평가 2 길이 제어를 의미합니다.

OLMoE가 디바이스 측에서 효율적으로 실행되도록 하기 위해 Allen 인공 지능 연구소는 Q4_K_M 양자화를 사용하여 모델 크기를 줄였습니다. 이 양자화는 모델 성능에 최소한의 영향을 미쳤으며, 예를 들어 IFEval 점수는 66.4에서 63.6으로 약간만 떨어졌습니다. 양자화 이전의 새 버전의 OLMoE 모델 성능을 경험하고 싶으신 경우, Ai2 놀이터 온라인 테스트. 또한, GGUF 형식의 정량적 모델이 허깅페이스에 공개되었으며, 사용자는 필요에 따라 기본 버전 또는 인스트럭션 버전을 선택하여 다운로드할 수 있습니다.

Allen 인공 지능 연구소는 Ai2 OLMoE 앱 개발 과정에서 GenUI와 긴밀히 협력했습니다. 이 애플리케이션은 Llama.cpp에 대한 Swift 바인딩과 같은 여러 뛰어난 오픈 소스 프로젝트 위에 구축되었습니다. Allen 인공 지능 연구소는 전체 기술 스택을 심층적으로 최적화하여 iPhone 16 Pro 기기에서 평균 41 토큰/초의 처리 속도를 달성했으며, 이는 뛰어난 성능입니다.

Ai2 OLMoE 애플리케이션의 코드가 다음과 같다는 점은 주목할 가치가 있습니다. 완전한 오픈 소스 (https://github.com/allenai/OLMoE.swift)에서 다양한 AI 연구자 및 개발자에게 유용한 참고 자료와 교훈을 제공합니다. 개발자는 Ai2 OLMoE 애플리케이션 코드베이스를 보다 효율적인 디바이스 측 AI 모델을 평가하기 위한 발판으로 사용하거나, Ai2 OLMoE의 모델 구현을 다른 애플리케이션에 원활하게 통합하여 강력한 AI 기능을 강화할 수 있습니다.

앨런 인공 지능 연구소는 Ai2 OLMoE 앱의 출시가 디바이스 기반 인텔리전스의 미래를 향한 중요한 단계라고 믿습니다. 모바일 디바이스의 처리 능력과 성능이 계속 향상됨에 따라 Ai2는 OLMoE 앱이 연구자와 개발자가 최첨단 기술을 유지하고 디바이스 기반 AI 기술의 무한한 가능성을 탐구하는 데 도움이 될 것으로 기대합니다.

지금 바로 아이폰에서 OLMoE 앱을 경험해 보세요!