SambaNova: высокоскоростной сервис вывода больших моделей, бесплатные API для моделей серии LLama, Qwen

Общее введение

SambaNova Systems - компания, призванная революционизировать рабочие нагрузки искусственного интеллекта и создающая самую быструю в мире платформу для вычислений на основе искусственного интеллекта. Ее продукты, включая SambaNova Suite и системы DataScale, предназначены для корпоративных и государственных организаций, чтобы обеспечить эффективные, точные и безопасные решения в области ИИ. Инновации SambaNova, такие как реконфигурируемый блок потоковой обработки данных (RDU) SN40L, дают ей значительное преимущество в обучении и выводе моделей ИИ.

Ограничение API бесплатной модели: 20 RPM (запросов в минуту), ограничение по токенам безопаснее - около 2000.

Список функций

• Платформа для выводов и тонкой настройки ИИ на основе архитектуры потоков данных
• Интегрированная SambaStudio для разработки и управления моделями искусственного интеллекта
• Поддержка нескольких генеративных моделей ИИ (например, Llama 3.1 8B, 70B, 405B)
• Обеспечьте поиск знаний в масштабах предприятия и функции вызова функций
• Поддержка быстрого развертывания крупномасштабных генеративных моделей ИИ
• Обеспечивает высокопроизводительное аппаратное обеспечение ИИ с низкой задержкой (SN40L RDU)
• Поддерживает локальное и облачное развертывание

Использование помощи

Процесс установки

1. склад клонов

   git clone https://github.com/sambanova/sambanova-suite.git
   

2. Доступ к каталогу склада

   cd sambanova-suite
   

3. Установка зависимостей

   npm install
   

4. Установка переменных окружения
   Создайте.env.localфайл и установите следующие параметры:

   SAMBANOVA_API_KEY=你的SambaNova API密钥
   

5. Запуск сервера разработки

   npm run dev
   

6. Создание веб-приложений

   npm run build
   

Функции использования

1. Управление ключами API: Введите ключ API, полученный от SambaNova или другого провайдера, в меню API.
2. Конфигурация переменной окружения: через.env.localфайл для настройки переменных окружения, таких как ключ API, домен сайта и т.д.
3. Локальное хранение и синхронизация: Поддерживает автоматическое сохранение данных в локальном хранилище и синхронизацию с облаком.
4. настольное приложение: Предоставляет для загрузки настольные приложения для Windows, MacOS и Linux с поддержкой офлайн.
5. Индивидуальные параметры модели: Поддерживает настройку параметров модели, таких какpresence_penaltyи т.д., чтобы удовлетворить различные потребности в использовании.
6. Управление записями чата: Поддерживает редактирование, изменение порядка и вставку любого сообщения, облегчая пользователям управление чатами.