 

Posição atual:Chefe do Círculo de Compartilhamento de IA  Conhecimento de IA  texto principal (em vez de notas de rodapé)

Instituto de Engenharia de IA: 3Fine-tuning (ajuste fino de grandes modelos de linguagem)

2024-11-19 Classificação:Conhecimento de IA

Estrutura do banco de dados

Modelos/Catálogo	Descrição e conteúdo
Axolote	Uma estrutura para ajuste fino de modelos de linguagem
Gemma	A mais recente implementação do Google do Big Language Model
- `finetune-gemma.ipynb` - `gemma-sft.py` - `Gemma_finetuning_notebook.ipynb`	Ajuste fino de notebooks e scripts
LLama2	Modelo de linguagem grande de código aberto da Meta
- `generate_response_stream.py` - `Llama2_finetuning_notebook.ipynb` - `Llama_2_Fine_Tuning_using_QLora.ipynb`	Diretrizes de implementação e ajuste fino
Llama3	Próximos experimentos com modelagem de linguagem metagrande
- `Llama3_finetuning_notebook.ipynb`	Experimentos iniciais de ajuste fino
LlamaFactory	Uma estrutura para treinamento e implementação de grandes modelos de linguagem
LLMArchitecture/ParameterCount	Detalhes técnicos da arquitetura do modelo
Mistral-7b	IA Mistral O modelo de 7 bilhões de parâmetros
- `LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb` - `Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb` - `notebooks_chatml_inference.ipynb` - `notebooks_DPO_fine_tuning.ipynb` - `notebooks_SFTTrainer TRL.ipynb` - `SFT.py`	Caderno integrado para avaliação, ajuste fino e raciocínio
Mixtral	Modelo de mistura de especialistas da Mixtral
- `Mixtral_fine_tuning.ipynb`	Realização de ajustes finos
VLM	modelo de linguagem visual
- `Florence2_finetuning_notebook.ipynb` - `PaliGemma_finetuning_notebook.ipynb`	Implementação do modelo de linguagem visual

Visão geral do módulo

1. arquitetura do LLM

Explore as seguintes implementações de modelos:
- Llama2 (modelo de código aberto do Meta)
- Mistral-7b (modelo eficiente de 7 bilhões de parâmetros)
- Mixtral (arquitetura de mistura especializada)
- Gemma (a mais recente contribuição do Google)
- Llama3 (próximo experimento)

2. 🛠️ tecnologia de ajuste fino

estratégia de implementação
Metodologia LoRA (Low Rank Adaptation)
Métodos avançados de otimização

3. 🏗️ análise da arquitetura do modelo

Um estudo aprofundado da estrutura do modelo
Método de cálculo do parâmetro
Considerações sobre escalabilidade

4. 🔧 Realização profissional

Code Llama para tarefas de programação
Modelagem de linguagem visual:
- Florença2
- PaliGemma

5. 💻 Aplicações práticas

Notebook Jupyter integrado
Pipeline de geração de respostas
Guia de implementação de raciocínio

6. 🚀 Temas avançados

DPO (otimização de preferência direta)
SFT (ajuste fino supervisionado)
Metodologia de avaliação

Artigos relacionados

Não pode ser reproduzido sem permissão:Chefe do Círculo de Compartilhamento de IA " Instituto de Engenharia de IA: 3Fine-tuning (ajuste fino de grandes modelos de linguagem)

Recomendado

Chefe do Círculo de Compartilhamento de IA

O Chief AI Sharing Circle se concentra no aprendizado de IA, fornecendo conteúdo abrangente de aprendizado de IA, ferramentas de IA e orientação prática. Nosso objetivo é ajudar os usuários a dominar a tecnologia de IA e explorar juntos o potencial ilimitado da IA por meio de conteúdo de alta qualidade e compartilhamento de experiências práticas. Seja você um iniciante em IA ou um especialista sênior, este é o lugar ideal para adquirir conhecimento, aprimorar suas habilidades e realizar inovações.

Entre em contato conosco

voltar ao topo

Português do Brasil