Groq: provedor de soluções de aceleração de inferência de modelo grande de IA, interface de modelo grande gratuita e de alta velocidade

Introdução geral ao Groq

A Groq, uma empresa sediada em Mountain View, Califórnia, desenvolveu o GroqChip™ e a Language Processing Unit™ (LPU). Conhecida por suas unidades de processamento de tensores desenvolvidas para aplicativos de IA de baixa latência.

A Groq foi fundada em 2016 e seu nome foi oficialmente registrado no mesmo ano. O principal produto da Groq é a Unidade de Processamento de Linguagem (LPU), uma nova classe de chips projetados não para treinar modelos de IA, mas para executá-los rapidamente, linguagem natural) e superar o desempenho das GPUs.

Seu objetivo é fornecer soluções para aplicativos de IA em tempo real, reivindicando desempenho líder de IA em centros de computação, caracterizado por velocidade e precisão. O Groq oferece suporte a estruturas padrão de aprendizado de máquina, como PyTorch, TensorFlow e ONNX. Além disso, eles oferecem o pacote GroqWare™, que inclui ferramentas para desenvolvimento personalizado e otimização de cargas de trabalho, como o Groq Compiler.

Lista de recursos do Groq

• Processamento de aplicativos de IA em tempo real
• Suporte para estruturas padrão de aprendizado de máquina
• Suporte para hardware leve de SaaS e PaaS
• Oferecendo desempenho de IA rápido e preciso
• GroqWare™ Suite para cargas de trabalho personalizadas e otimizadas
• Garantia de um desempenho de inferência em larga escala preciso, eficiente em termos de energia e repetível

Ajuda do Groq

• Os desenvolvedores podem fornecer acesso de desenvolvedor por conta própria via Playground no GroqCloud
• Se você estiver usando atualmente a API OpenAI, precisará apenas de três coisas para converter para o Groq: uma chave de API do Groq, um ponto de extremidade, um modelo
• Se você precisa do raciocínio mais rápido em escala de data center, devemos conversar

Você pode.Clique aquiSolicite o APIKEY gratuitamente e escolha o modelo após a conclusão da solicitação:

Conclusão do bate-papo

Fala para texto

Em seguida, tome o formato curl como exemplo, essa interface é compatível com o formato da interface OPENAI, portanto, use sua imaginação, desde que haja interfaces que permitam a personalização da API OPENAI, bem como o uso do Groq.

curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Autorização: Portador $GROQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "Explain the importance of low latency LLMs"}], "model": "mixtral-8x7b-32768"}'

Exemplo de uso: Configuração de chaves Groq para uso no plug-in de tradução imersiva