Dieser Artikel wurde am 2024-12-08 20:17 aktualisiert, ein Teil des Inhalts ist zeitkritisch, falls er ungültig ist, bitte eine Nachricht hinterlassen!
📚 Aufbau der Datenbank
| Modelle/Katalog | Beschreibung und Inhalt |
|---|---|
| Axolotl | Ein Rahmen für die Feinabstimmung von Sprachmodellen |
| Gemma | Googles neueste Implementierung des Big Language Model |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb |
Feinabstimmung von Notizbüchern und Skripten |
| LLama2 | Metas Open-Source-Modell für große Sprachen |
- generate_response_stream.py - Llama2_Feinabstimmung_notebook.ipynb - Llama_2_Feinabstimmung_mit_QLora.ipynb |
Leitlinien für die Umsetzung und Feinabstimmung |
| Llama3 | Kommende Experimente mit Meta Large Language Modelling |
- Llama3_Feinabstimmung_Notizbuch.ipynb |
Erste Versuche zur Feinabstimmung |
| LlamaFactory | Ein Rahmen für das Training und den Einsatz großer Sprachmodelle |
| LLMArchitektur/ParameterZahl | Technische Details der Modellarchitektur |
| Mistral-7b | Mistral AI Das Modell mit 7 Milliarden Parametern |
- LLM_Auswertungsgeschirr_für_Arc_Easy_und_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_Feinabstimmung.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py |
Integriertes Notizbuch für Bewertung, Feinabstimmung und Argumentation |
| Mixtral | Mixtrals Modell der Expertenmischung |
- Gemischte_Feinabstimmung.ipynb |
Feinabstimmung der Umsetzung |
| VLM | visuelles Sprachmodell |
- Florenz2_Feinabstimmung_Notizbuch.ipynb - PaliGemma_Feinabstimmung_Notizbuch.ipynb |
Implementierung des visuellen Sprachmodells |
🎯 Modulübersicht
1. die LLM-Architektur
- Untersuchen Sie die folgenden Modellimplementierungen:
- Llama2 (das quelloffene Modell von Meta)
- Mistral-7b (effizientes Modell mit 7 Milliarden Parametern)
- Mixtral (Expert Mixture Architecture)
- Gemma (der neueste Beitrag von Google)
- Llama3 (bevorstehendes Experiment)
2. 🛠️ Feinabstimmungstechnologie
- Umsetzungsstrategie
- LoRA-Methodik (Low Rank Adaptation)
- Fortgeschrittene Optimierungsmethoden
3. 🏗️ Analyse der Modellarchitektur
- Eine eingehende Untersuchung der Struktur des Modells
- Methode zur Berechnung der Parameter
- Überlegungen zur Skalierbarkeit
4. 🔧 Berufliche Entfaltung
- Code Llama für Programmieraufgaben
- Visuelle Sprachmodellierung:
- Florenz2
- PaliGemma
5. 💻 Praktische Anwendungen
- Integriertes Jupyter-Notebook
- Pipeline zur Erzeugung von Reaktionen
- Leitfaden zur Implementierung von Reasoning
6. 🚀 Erweiterte Themen
- DPO (Optimierung der Direktpräferenz)
- SFT (überwachte Feinabstimmung)
- Methodik der Bewertung
