Ai2 OLMoE: um aplicativo de IA para iOS de código aberto baseado em modelos OLMoE executados off-line

Introdução geral

O Ai2 OLMoE é um aplicativo iOS de código aberto desenvolvido pelo Allen Institute for AI (Ai2, Allen Institute for Artificial Intelligence) para fornecer modelos de IA que são executados inteiramente no dispositivo. O aplicativo aproveita o modelo OLMoE de código aberto do Ai2, que é capaz de ser executado off-line sem conexão com a nuvem, garantindo a privacidade do usuário e a segurança dos dados. O Ai2 OLMoE não é adequado apenas para pesquisadores que exploram como melhorar os modelos locais de IA, mas também fornece aos desenvolvedores ferramentas para criar rapidamente protótipos de novas experiências de IA.

Experiência on-line: https://playground.allenai.org/?model=olmoe-0125

Lista de funções

• Código-fonte totalmente abertoO modelo e o código do aplicativo Ai2 OLMoE são totalmente de código aberto, facilitando a experimentação e o aprimoramento por pesquisadores e desenvolvedores.
• operação eficienteComputação de IA de alto desempenho no dispositivo usando uma mistura eficiente de especialistas.
• PrivacidadeTodas as operações são feitas no dispositivo, garantindo que os dados do usuário não saiam do dispositivo.
• integração multifuncionalSuporte para integração de modelos OLMoE em outros aplicativos iOS para ampliar sua funcionalidade.
• Suporte à comunidadeEntre no servidor Discord da Ai2 para se comunicar com outros pesquisadores e desenvolvedores e compartilhar projetos e experiências.

Usando a Ajuda

Processo de instalação

1. Abra a App Store e procure por "Ai2 OLMoE".
2. Clique no botão "Get" para fazer o download e instalar o aplicativo.
3. Após a conclusão da instalação, abra o aplicativo e siga as instruções para a configuração inicial.

Diretrizes para uso

Experimente o modelo de IA

1. Abra o aplicativo Ai2 OLMoE.
2. Selecione a opção "Experience Model" para começar a interagir com o modelo.
3. Insira ou selecione uma tarefa e observe como o modelo se comporta.

Pesquisa e aprimoramento de modelos de IA

1. Faça o download e instale o aplicativo Ai2 OLMoE.
2. Abra o aplicativo e selecione "Research Mode" (Modo de pesquisa).
3. Treinamento e refinamento do modelo usando as ferramentas e os conjuntos de dados fornecidos pelo aplicativo.
4. Carregue o modelo aprimorado no aplicativo e teste seu desempenho.

Integração com outros aplicativos iOS

1. Acesso ao repositório de código aberto do Ai2 OLMoE no GitHub (link fornecido no aplicativo).
2. Faça o download da base de código e configure-a de acordo com as instruções da documentação.
3. Amplie a funcionalidade do modelo OLMoE integrando-o ao seu aplicativo iOS.

Procedimento de operação detalhado

1. Download e instalaçãoProcure e faça o download do aplicativo Ai2 OLMoE na App Store e siga as instruções para concluir a instalação.
2. Configuração inicialAbra o aplicativo para a configuração inicial, incluindo a escolha de um idioma e configurações de privacidade.
3. modelo experimentalModo de experiência: Selecione "Experience Mode", insira ou selecione uma tarefa e observe como o modelo se comporta.
4. modelo de pesquisaModo de pesquisa: Selecione "Research Mode" (Modo de pesquisa) e use as ferramentas e os conjuntos de dados fornecidos para treinamento e refinamento do modelo.
5. Modo integradoVisite o repositório de código do GitHub para fazer download e configurar o código para integrar o modelo em outros aplicativos iOS.

Mais sobre o Ai2 OLMoE

O modelo OLMoE do Allen Institute for Artificial Intelligence (AI2) foi oficialmente lançado como um modelo de ponta, de código aberto, no lado do dispositivo.

O Allen Institute for Artificial Intelligence (AI) há muito tempo tem a visão de criar modelos de linguagem superiores e totalmente de código aberto. Agora, eles deram um passo significativo em direção a essa meta: o Allen Institute for Artificial Intelligence redefiniu os limites do que é considerado código-fonte totalmente aberto com o lançamento de um aplicativo iOS totalmente aberto. O aplicativo foi projetado para permitir que os usuários experimentem seus modelos de forma segura e privada em seus próprios dispositivos, demonstrando a profunda expansão da filosofia de código aberto do AIII.

Esse aplicativo de código totalmente aberto ajudará os pesquisadores a explorar maneiras de aprimorar os modelos do lado do dispositivo e capacitará os desenvolvedores a criar protótipos para experiências inovadoras de IA. Sua natureza de código aberto não só fornece uma plataforma valiosa para os pesquisadores, mas também inspira uma criatividade ilimitada na comunidade de desenvolvedores para impulsionar os avanços e aplicativos da tecnologia de IA no lado do dispositivo.

Os usuários podem fazer o download do aplicativo agora na Apple App Store ou optar por criá-lo por conta própria obtendo o código-fonte no repositório de código. É importante observar que, devido a considerações de hardware, a primeira versão do aplicativo OLMoE só funcionará em um iPhone 15 Pro ou mais recente, ou em qualquer iPad com um chip da série M.

Expandir a profundidade e a amplitude dos ecossistemas abertos

Desde o início da série de modelos OLMo, o Allen Institute for Artificial Intelligence (AI) aderiu ao princípio de total abertura. Eles não apenas divulgaram os pesos finais do modelo, mas também abriram o software, os dados e os detalhes técnicos relacionados envolvidos no processo de construção do modelo. A Allen AI acredita que a verdadeira abertura não se limita apenas ao modelo em si, mas também se estende à experiência do usuário para criar um ecossistema de IA aberto que seja realmente acessível. Grandes projetos de código aberto, como vLLM e SGLang, ajudaram os desenvolvedores a implantar grandes modelos de linguagem (LLMs) em servidores de nuvem разнообразных. Ollama e o surgimento de ferramentas como o LM Studio, por outro lado, permitem que os usuários experimentem modelos de ponderação abertos diretamente em seus computadores pessoais.

Nos últimos anos, os recursos dos modelos pequenos aumentaram muito. Em particular, até o final de 2024, o modelo paramétrico 7B superou facilmente o desempenho do modelo de última geração do ano anterior. Ao mesmo tempo, o desempenho das unidades de processamento móvel também tem aumentado, sinalizando que A IA no lado do dispositivo está pronta para uma adoção mais ampla.

Para melhor adotar essa tendência, o Allen Institute for Artificial Intelligence lançou o OLMoE, um programa de treinamento de habilidades em inteligência artificial. Kit de ferramentas totalmente de código abertoO objetivo é fornecer aos pesquisadores e desenvolvedores Plataforma de experimentação de IA no lado do dispositivoA OLMoE tem uma ampla gama de cenários de aplicação, incluindo:

• Exploração de missões no mundo realExperiência prática com modelos de ponta do lado do dispositivo em cenários de aplicativos do mundo real e descubra o que eles podem fazer em tarefas do mundo real.
• Um estudo sobre o aprimoramento de modelos locais eficientes de IAPesquisa sobre como melhorar ainda mais a eficiência dos modelos locais de IA e fornecer ideias para a otimização da IA no lado do dispositivo.
• Teste de modelo localTeste e validação convenientes de modelos de usuário em ambientes locais usando a base de código-fonte aberto fornecida pelo OLMoE.
• Integração de aplicativos iOSIntegração: Integre perfeitamente o OLMoE a outros aplicativos iOS para expandir os limites da tecnologia de IA.

As vantagens mais significativas de um modelo no lado do dispositivo, como o OLMoE, em relação a um modelo baseado em nuvem são Privacidade totalOs prompts do usuário e as respostas do modelo são sempre processados localmente no dispositivo. As solicitações do usuário e as respostas do modelo são sempre processadas localmente no dispositivo e não precisam ser carregadas em um servidor em nuvem, maximizando assim a segurança dos dados do usuário. Além disso, como Não é necessária conexão com a InternetA OLMoE é capaz de operar de forma estável e confiável em qualquer local e ambiente de rede, fornecendo aos usuários serviços de IA a qualquer hora e em qualquer lugar.

O salto dos modelos para os aplicativos

Para criar com sucesso o aplicativo Ai2 OLMoE, o Allen Institute for Artificial Intelligence combinou de forma inteligente suas soluções tecnológicas de última geração e de código aberto. A pedra angular do aplicativo é o modelo OLMoE, que é o modelo de linguagem mais eficiente e de código aberto já desenvolvido pelo Allen Institute for Artificial Intelligence. Com base nesse alicerce, o Allen Institute for Artificial Intelligence lançou uma nova versão do modelo, allenai/OLMoE-1B-7B-0125-Instruct, que incorpora de forma inteligente a estratégia de treinamento híbrido Dolmino introduzida no OLMo 2 (aplicada no meio do treinamento do modelo) e o treinamento do modelo Tülu 3. e um esquema de otimização pós-treinamento para os modelos Tülu 3. Com essas inovações, a nova versão do OLMoE alcança um aumento médio de desempenho de 35% no conjunto de avaliação do Allen Institute for Artificial Intelligence, mantendo um nível de eficiência semelhante ao da versão original.

*AlpacaEval refere-se ao Alpaca Eval 2 Length Controlled.

Para garantir que o OLMoE seja executado com eficiência no lado do dispositivo, o Allen Institute of Artificial Intelligence usou a quantificação Q4_K_M para reduzir o tamanho do modelo. Essa quantificação teve um impacto mínimo no desempenho do modelo, por exemplo, a pontuação IFEval caiu apenas ligeiramente de 66,4 para 63,6. Se você estiver interessado em experimentar o desempenho da nova versão do modelo OLMoE antes de quantificá-lo, acesse o site Ai2 Playground Testes on-line. Além disso, o modelo quantitativo no formato GGUF foi lançado no HuggingFace, e os usuários podem escolher a versão básica ou a versão de instrução para fazer o download de acordo com suas necessidades.

O Allen Institute for Artificial Intelligence trabalhou em estreita colaboração com a GenUI no desenvolvimento do aplicativo Ai2 OLMoE. O aplicativo foi desenvolvido com base em vários projetos de código aberto excepcionais, como as ligações Swift para Llama.cpp. O Allen Institute of Artificial Intelligence otimizou profundamente toda a pilha de tecnologia, resultando em uma velocidade média de processamento de 41 Tokens/s em um dispositivo iPhone 16 Pro, o que é um desempenho impressionante.

Vale a pena observar que o código do aplicativo Ai2 OLMoE foi Código-fonte totalmente aberto (https://github.com/allenai/OLMoE.swift), que fornece referências e lições valiosas para uma ampla gama de pesquisadores e desenvolvedores de IA. Os desenvolvedores podem usar a base de código do aplicativo Ai2 OLMoE como um andaime para avaliar modelos de IA mais eficientes do lado do dispositivo ou integrar perfeitamente as implementações de modelo do Ai2 OLMoE em outros aplicativos para capacitá-los com recursos avançados de IA.

O Allen Institute for Artificial Intelligence acredita que o lançamento do aplicativo Ai2 OLMoE é uma etapa fundamental para o futuro da inteligência baseada em dispositivos. À medida que a capacidade de processamento e o desempenho dos dispositivos móveis continuam a aumentar, o Ai2 espera que o aplicativo OLMoE ajude pesquisadores e desenvolvedores a se manterem na vanguarda da tecnologia e a explorarem as infinitas possibilidades da tecnologia de IA do lado do dispositivo.

Experimente o aplicativo OLMoE em seu iPhone hoje mesmo!