AI工学研究所：3ファインチューニング（大規模言語モデルの微調整）
データベースの構造
| モデル/カタログ | 説明と内容 |
|---|---|
| アホロートル | 言語モデルを微調整するフレームワーク |
| ジェマ | グーグルのビッグ言語モデルの最新実装 |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | ノートブックとスクリプトの微調整 |
| ラマ2 | メタのオープンソース大規模言語モデル |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | 実施と微調整のガイドライン |
| ラマ3 | メタ大規模言語モデリングの今後の実験 |
- Llama3_finetuning_notebook.ipynb | 初期微調整実験 |
| ラマファクトリー | 大規模言語モデルの学習と展開のためのフレームワーク |
| LLMArchitecture/ParameterCount | モデル・アーキテクチャの技術的詳細 |
| ミストラル-7b | ミストラルAI 70億パラメータモデル |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | 評価、微調整、推論のための統合ノートブック |
| ミクストラル | ミックストラルのエキスパート・ミキシング・モデル |
- Mixtral_fine_tuning.ipynb | 微調整の実現 |
| ブイエルエム | 視覚言語モデル |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | 視覚言語モデルの実装 |
モジュールの概要
1.LLMアーキテクチャ
- 以下のモデルの実装を調べる：
- ラマ2（メタのオープンソースモデル）
- Mistral-7b（効率的な70億パラメータモデル）
- ミクストラル（エキスパート混合アーキテクチャ）
- ジェマ（グーグルの最新寄稿文）
- ラマ3（今後の実験）
2. 🛠️ 微調整技術
- 実施戦略
- LoRA（低ランク適応）の方法論
- 高度な最適化手法
3. 🏗️ モデルのアーキテクチャ分析
- モデルの構造に関する徹底的な研究
- パラメータ算出方法
- スケーラビリティに関する考察
4. 🔧 職業上の充実感
- プログラミング・タスクのためのコードラマ
- 視覚言語モデリング：
- フローレンス2
- パリジェンマ
5.💻実践的アプリケーション
- 統合されたジュピター・ノートブック
- レスポンス・ジェネレーション・パイプライン
- 推論実施ガイド
6. 🚀 高度なテーマ
- DPO（ダイレクト・プリファレンス・オプティマイゼーション）
- SFT（スーパーバイズド・ファイン・チューニング）
- 評価方法
© 著作権表示
記事の著作権 AIシェアリングサークル 無断転載はご遠慮ください。
関連記事
コメントはありません
日本語 
简体中文 
English 
한국어 
Русский 
Español