📚 데이터베이스의 구조
| 모델/카탈로그 | 설명 및 콘텐츠 |
|---|---|
| Axolotl | 언어 모델 미세 조정을 위한 프레임워크 |
| Gemma | Google의 최신 빅 언어 모델 구현 |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | 노트북과 스크립트 미세 조정하기 |
| LLama2 | 메타의 오픈 소스 대규모 언어 모델 |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | 구현 및 미세 조정 가이드라인 |
| Llama3 | 예정된 메타 대규모 언어 모델링 실험 |
- Llama3_finetuning_notebook.ipynb | 초기 미세 조정 실험 |
| 라마팩토리 | 대규모 언어 모델 학습 및 배포를 위한 프레임워크 |
| LLMArchitecture/ParameterCount | 모델 아키텍처의 기술적 세부 사항 |
| 미스트랄-7b | 미스트랄 AI 70억 개의 매개변수 모델 |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | 평가, 미세 조정 및 추론을 위한 통합 노트북 |
| 믹스트랄 | 믹스트랄의 전문 믹싱 모델 |
- Mixtral_fine_tuning.ipynb | 미세 조정 실현 |
| VLM | 시각 언어 모델 |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | 시각 언어 모델 구현 |
🎯 모듈 개요
1. LLM 아키텍처
- 다음 모델 구현을 살펴보세요:
- Llama2(메타의 오픈 소스 모델)
- 미스트랄-7b(효율적인 70억 개의 파라미터 모델)
- 믹스트랄(전문가 혼합 아키텍처)
- 젬마(Google의 최신 기여)
- Llama3(예정된 실험)
2. 🛠️ 미세 조정 기술
- 구현 전략
- LoRA(낮은 순위 적응) 방법론
- 고급 최적화 방법
3. 🏗️ 모델 아키텍처 분석
- 모델 구조에 대한 심층 연구
- 매개변수 계산 방법
- 확장성 고려 사항
4. 🔧 전문성 충족
- 프로그래밍 작업을 위한 코드 라마
- 시각적 언어 모델링:
- 피렌체2
- 팔리젬마
5. 💻 실용적인 애플리케이션
- 주피터 노트북 통합
- 응답 생성 파이프라인
- 추론 구현 가이드
6. 🚀 고급 테마
- DPO(직접 환경 설정 최적화)
- SFT(감독형 미세 조정)
- 평가 방법론
© 저작권 정책
기사 저작권 AI 공유 서클 모두 무단 복제하지 마세요.
관련 문서
댓글 없음...
한국어 
简体中文 
English 
日本語 
Русский 
Español