AI Engineering Institute: 3Fine-tuning (ajuste fino de grandes modelos lingüísticos)
Base de conocimientos de IAActualizado hace 11 meses Círculo de intercambio de inteligencia artificial 21.2K 00
📚 Estructura de la base de datos
| Modelos/Catálogo | Descripción y contenido |
|---|---|
| Axolotl | Un marco para afinar los modelos lingüísticos |
| Gemma | La última implementación de Google del Big Language Model |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | Cuadernos y guiones de ajuste |
| LLama2 | Modelo Meta de código abierto para grandes idiomas |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | Directrices de aplicación y ajuste |
| Llama3 | Próximos experimentos con Meta Large Language Modelling |
- Llama3_finetuning_notebook.ipynb | Experimentos iniciales de ajuste |
| LlamaFactory | Un marco para la formación y el despliegue de grandes modelos lingüísticos |
| LLMArquitectura/CuentaParámetros | Detalles técnicos de la arquitectura del modelo |
| Mistral-7b | Mistral AI El modelo de 7.000 millones de parámetros |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | Cuaderno integrado de evaluación, puesta a punto y razonamiento |
| Mixtral | Modelo de mezcla de expertos de Mixtral |
- Mixtral_fine_tuning.ipynb | Puesta a punto de la realización |
| VLM | modelo de lenguaje visual |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | Aplicación del modelo de lenguaje visual |
🎯 Descripción general del módulo
1. Arquitectura LLM
- Explora las siguientes implementaciones del modelo:
- Llama2 (modelo de código abierto de Meta)
- Mistral-7b (modelo eficiente de 7.000 millones de parámetros)
- Mixtral (Arquitectura de mezclas experta)
- Gemma (la última contribución de Google)
- Llama3 (próximo experimento)
2. 🛠️ tecnología de ajuste fino
- estrategia de aplicación
- Metodología LoRA (Low Rank Adaptation)
- Métodos avanzados de optimización
3. 🏗️ análisis de la arquitectura del modelo
- Un estudio en profundidad de la estructura del modelo
- Método de cálculo de los parámetros
- Consideraciones sobre la escalabilidad
4. 🔧 Realización profesional
- Code Llama para tareas de programación
- Modelización visual del lenguaje:
- Florencia2
- PaliGemma
5. 💻 Aplicaciones prácticas
- Cuaderno Jupyter integrado
- Generación de respuestas
- Guía de aplicación del razonamiento
6. 🚀 Temas avanzados
- DPO (Optimización de Preferencia Directa)
- SFT (ajuste fino supervisado)
- Metodología de evaluación
© declaración de copyright
Derechos de autor del artículo Círculo de intercambio de inteligencia artificial Todos, por favor no reproducir sin permiso.
Artículos relacionados
Sin comentarios...
Español 
简体中文 
English 
日本語 
한국어 
Русский