glhf.chat: запуск почти (всех) больших моделей с открытым исходным кодом, бесплатный доступ к ресурсам GPU и API-сервисам (период бета-версии)

Общее введение

good luck have fun (glhf.chat) - это веб-сайт, предоставляющий чат-сервис для работы с большими моделями с открытым исходным кодом. Платформа позволяет пользователям запускать практически любые большие модели с открытым исходным кодом, используя vLLM и собственный планировщик GPU с автоматическим масштабированием. Пользователи могут просто вставить ссылку на репозиторий Hugging Face и взаимодействовать с помощью чат-интерфейса или OpenAI-совместимых API. Платформа предлагается бесплатно в период бета-тестирования, а в будущем будет доступна по более низкой цене, чем у крупных поставщиков облачных GPU.

Список функций

• Поддерживает множество макромоделей с открытым исходным кодом, включая Meta Llama, Qwen, Mixtral и др.
• Обеспечивает доступ к восьми графическим процессорам Nvidia A100 80Gb
• Службы рассуждений для автоматизированных моделей популяции агентов
• Запуск и выключение кластеров по требованию для оптимизации использования ресурсов
• Предоставляет API, совместимые с OpenAI, для легкой интеграции

Использование помощи

Установка и использование

1. Регистрация и вход: Доступglhf.chatзарегистрируйте учетную запись и войдите в нее, когда закончите.
2. Выберите модель: Выберите нужную макромодель на главной странице платформы. Поддерживаются такие модели, как Meta Llama, Qwen, Mixtral и другие.
3. Вставьте ссылку: Вставьте ссылку на репозиторий Hugging Face в указанное место, и платформа автоматически загрузит модель.
4. Использование интерфейса чата: Взаимодействуйте с моделью через чат на сайте, вводя вопросы или команды, и модель будет генерировать ответы в режиме реального времени.
5. Интеграция API: Интегрируйте функциональность платформы в свои собственные приложения, используя OpenAI-совместимые API, как подробно описано в документации по API в Справочном центре сайта.

Подробный порядок работы функций

1. Выбор модели и загрузка::
   • После входа в систему вы попадете на страницу выбора модели.
   • Просмотрите список поддерживаемых моделей и нажмите на нужную модель.
   • Вставьте ссылку на репозиторий Hugging Face во всплывающее диалоговое окно и нажмите кнопку "Загрузить модель".
   • Дождитесь окончания загрузки модели, время загрузки зависит от размера модели и условий сети.
2. Использование чат-интерфейса::
   • После загрузки модели войдите в экран чата.
   • Введите вопрос или инструкцию в поле ввода и нажмите Отправить.
   • На основе полученных данных модель генерирует ответ, который отображается в окне чата.
   • Можно последовательно вводить несколько вопросов или команд, и модель будет обрабатывать их и отвечать на них по очереди.
3. Использование API::
   • Посетите страницу документации API для получения ключей API и инструкций.
   • Интегрируйте API в свое приложение и следуйте приведенному в документации образцу кода для выполнения вызовов.
   • Отправьте запрос через API, чтобы получить сгенерированный моделью ответ.
   • API поддерживает различные языки программирования, конкретные примеры кода см. в документации.

Управление ресурсами и их оптимизация

• Автоматическое расширение: Платформа использует собственный планировщик GPU, который автоматически увеличивает и уменьшает ресурсы GPU в зависимости от потребностей пользователей для обеспечения эффективного использования.
• активация по требованию: Для моделей, которые не используются часто, платформа запускает кластеры по требованию и автоматически отключает их, когда они используются, экономя ресурсы.
• Бесплатный тест: В период бета-тестирования пользователи получат бесплатный доступ ко всем функциям платформы, а по окончании тестирования будет доступен тарифный план со скидкой.