Groq: поставщик решений для ускорения вывода больших моделей ИИ, высокоскоростной бесплатный интерфейс больших моделей

Groq Общее представление

Компания Groq, расположенная в Маунтин-Вью, штат Калифорния, разработала чип GroqChip™ и блок обработки языка Language Processing Unit™ (LPU). Компания известна своими тензорными процессорами, разработанными для приложений искусственного интеллекта с низкой задержкой.

Компания Groq была основана в 2016 году, и в том же году ее название было официально защищено торговой маркой. Основной продукт Groq - блок обработки языка (LPU), новый класс чипов, предназначенных не для обучения моделей ИИ, а для их быстрого запуска. Системы LPU компании Groq возглавили новое поколение ускорителей ИИ, которые предназначены для обработки последовательных данных (например, ДНК, музыки, кода,) естественный язык) и превосходят графические процессоры.

Groq поддерживает стандартные фреймворки машинного обучения, такие как PyTorch, TensorFlow и ONNX. Кроме того, компания предлагает пакет GroqWare™, включающий инструменты для индивидуальной разработки и оптимизации рабочих нагрузок, такие как Groq Compiler.

Список функций Groq

• Обработка приложений ИИ в режиме реального времени
• Поддержка стандартных фреймворков машинного обучения
• Поддержка легкого оборудования для SaaS и PaaS
• Обеспечение быстрой и точной работы искусственного интеллекта
• Комплект GroqWare™ для оптимизации рабочих нагрузок по индивидуальному заказу
• Обеспечение точности, энергоэффективности и воспроизводимости крупномасштабных выводов

Помощь Groq

• Разработчики могут самостоятельно предоставлять доступ для разработчиков через Playground на GroqCloud
• Если вы используете OpenAI API, то для конвертации в Groq вам понадобятся всего три вещи: ключ Groq API, конечная точка и модель.
• Если вам нужны самые быстрые рассуждения в масштабах центра обработки данных, мы должны поговорить об этом.

Вы можете.Нажмите здесьПодайте бесплатную заявку на APIKEY и выберите модель после завершения рассмотрения заявки:

Завершение чата

Передача речи в текст

Далее, в качестве примера возьмем формат curl. Этот интерфейс совместим с форматом интерфейса OPENAI, так что используйте свою фантазию, пока есть интерфейсы, позволяющие настраивать API OPENAI, а также использовать Groq.

curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Authorisation: Bearer $GROQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "Explain importance of low latency LLMs"}], "model": "mixtral-8x7b-32768"}'

Пример использования: настройка ключей Groq для использования в плагине Immersive Translation Plugin