Инженерный институт искусственного интеллекта: 3Fine-tuning (тонкая настройка больших языковых моделей)
📚 Структура базы данных
| Модели/каталоги | Описание и содержание |
|---|---|
| Аксолотль | Система для тонкой настройки языковых моделей |
| Джемма | Последняя реализация Большой языковой модели Google |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | Доработка блокнотов и сценариев |
| LLama2 | Большая языковая модель Meta с открытым исходным кодом |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | Рекомендации по внедрению и тонкой настройке |
| Ллама3 | Предстоящие эксперименты с метаязыковым моделированием |
- Llama3_finetuning_notebook.ipynb | Начальные эксперименты по тонкой настройке |
| LlamaFactory | Фреймворк для обучения и развертывания больших языковых моделей |
| LLMArchitecture/ParameterCount | Технические детали архитектуры модели |
| Мистраль-7b | Мистраль ИИ Модель с 7 миллиардами параметров |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | Встроенный блокнот для оценки, доработки и рассуждений |
| Mixtral | Экспертная модель смешивания Mixtral |
- Mixtral_fine_tuning.ipynb | Тонкая настройка реализации |
| VLM | визуальная модель языка |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | Реализация модели визуального языка |
🎯 Обзор модулей
1. архитектура LLM
- Изучите следующие варианты реализации модели:
- Llama2 (модель Meta с открытым исходным кодом)
- Мистраль-7b (эффективная модель с 7 миллиардами параметров)
- Mixtral (экспертная архитектура смесей)
- Джемма (последний вклад Google)
- Llama3 (предстоящий эксперимент)
2. 🛠️ Технология тонкой настройки
- стратегия реализации
- Методология LoRA (адаптация низкого ранга)
- Передовые методы оптимизации
3. 🏗️ Анализ архитектуры модели
- Углубленное изучение структуры модели
- Метод расчета параметров
- Соображения по масштабируемости
4. 🔧 Профессиональная самореализация
- Code Llama для решения задач по программированию
- Визуальное моделирование языка:
- Флоренция2
- PaliGemma
5. 💻 Практическое применение
- Интегрированный блокнот Jupyter Notebook
- Трубопровод для генерации ответов
- Руководство по внедрению рассуждений
6. 🚀 Расширенные темы
- DPO (прямая оптимизация предпочтений)
- SFT (контролируемая тонкая настройка)
- Методология оценки
© заявление об авторских правах
Авторское право на статью Круг обмена ИИ Пожалуйста, не воспроизводите без разрешения.
Похожие статьи
Нет комментариев...
Русский 
简体中文 
English 
日本語 
한국어 
Español 
Deutsch 
Français 
Português do Brasil