AI Engineering Institute : 3Fine-tuning (réglage fin de grands modèles linguistiques)
📚 Structure de la base de données
| Modèles/Catalogue | Description et contenu |
|---|---|
| Axolotl | Un cadre pour le réglage fin des modèles linguistiques |
| Gemma | La dernière mise en œuvre du Big Language Model par Google |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | Peaufiner les carnets de notes et les scripts |
| LLama2 | Le modèle Open Source de Meta pour les grandes langues |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | Lignes directrices pour la mise en œuvre et la mise au point |
| Llama3 | Expériences à venir en matière de modélisation linguistique à grande échelle (Meta Large Language Modelling) |
- Llama3_finetuning_notebook.ipynb | Expériences initiales de mise au point |
| LlamaFactory | Un cadre pour la formation et le déploiement de grands modèles linguistiques |
| LLMArchitecture/ParameterCount | Détails techniques de l'architecture du modèle |
| Mistral-7b | Mistral AI Le modèle à 7 milliards de paramètres |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | Carnet de notes intégré pour l'évaluation, la mise au point et le raisonnement |
| Mixtral | Le modèle de mélange expert de Mixtral |
- Mixtral_fine_tuning.ipynb | Affiner la réalisation |
| VLM | modèle de langage visuel |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | Mise en œuvre du modèle de langage visuel |
🎯 Aperçu du module
1. architecture LLM
- Examinez les mises en œuvre des modèles suivants :
- Llama2 (modèle open source de Meta)
- Mistral-7b (modèle efficace à 7 milliards de paramètres)
- Mixtral (Architecture experte des mélanges)
- Gemma (dernière contribution de Google)
- Llama3 (expérience à venir)
2. 🛠️ technologie de réglage fin
- stratégie de mise en œuvre
- Méthodologie LoRA (Low Rank Adaptation)
- Méthodes d'optimisation avancées
3. 🏗️ analyse de l'architecture du modèle
- Une étude approfondie de la structure du modèle
- Méthode de calcul des paramètres
- Considérations sur l'évolutivité
4. 🔧 L'épanouissement professionnel
- Code Llama pour les tâches de programmation
- Modélisation du langage visuel :
- Florence2
- PaliGemma
5. 💻 Applications pratiques
- Bloc-notes Jupyter intégré
- Pipeline de génération de réponses
- Guide de mise en œuvre du raisonnement
6 🚀 Thèmes avancés
- DPO (Optimisation des préférences directes)
- SFT (réglage fin supervisé)
- Méthodologie d'évaluation
© déclaration de droits d'auteur
Article copyright Cercle de partage de l'IA Tous, prière de ne pas reproduire sans autorisation.
Articles connexes
Pas de commentaires...
Français 
简体中文 
English 
日本語 
한국어 
Русский 
Español 
Deutsch 
Português do Brasil