オッラマの紹介
ollamaはネイティブ言語モデルを実行するための軽量フレームワークで、大規模な言語モデルを簡単に構築し、実行することができます。複数のクイック・スタートとインストール・オプションを提供し、Dockerをサポートし、ユーザーが選択できる豊富なライブラリ・セットを含んでいます。使いやすく、REST APIを提供し、コミュニティと統合する様々なプラグインや拡張機能を備えています。
ollamaはパーソナルコンピュータ用の純粋なコマンドラインツールで、Open WebUI、Lobe Chat、NextChatのようなローカルチャットインターフェースのデプロイにお勧めします。
デフォルトのインストール・ディレクトリを変更する: https://github.com/ollama/ollama/issues/2859
Ollama機能リスト
大規模言語モデルの迅速な立ち上げと実行
macOS、Windows、Linuxシステムをサポート
ollama-python、ollama-jsなどのライブラリを提供。
ラマ2を含む。 ミストラルジェンマ他、事前構成モデル
ローカルとDockerの両方のインストールに対応
カスタマイズされたモデル機能を提供する
GGUFとPyTorchからのモデル変換のサポート
CLI操作ガイドの提供
REST API サポートの提供
よく使われるollamaコマンド
プルモデル: ollama pull llama3.1
実行モデル: llama run llama3.1
削除モデル: llama rm llama3.1
利用可能なすべてのモデルをリストアップ: ollama list
クエリ API サービスアドレス: ollama serve (デフォルト http://localhost:11434/)
Ollamaヘルプ
インストールスクリプトとガイドは、ollamaのウェブサイトとGitHubページから入手できます。
提供されたDockerイメージを使用したインストール
CLI操作によるモデルの作成、引き出し、削除、コピー
ローカルビルドの初期化と実行
モデルの実行と対話
Ollamaがサポートしているモデルの一部
モデル | パラメータ | サイズ | ダウンロード |
---|---|---|---|
ラマ2 | 7B | 3.8GB | オラマ・ラン・ラマ2 |
ミストラル | 7B | 4.1GB | オラマ・ラン・ミストラル |
ドルフィン・ファイ | 2.7B | 1.6GB | オラマ・ラン・ドルフィン・ファイ |
ファイ2 | 2.7B | 1.7GB | オラマ・ラン・ファイ |
ニューラル・チャット | 7B | 4.1GB | ニューラル・チャット |
スターリング | 7B | 4.1GB | オラマ・ラン・スターリングLM |
コード・ラマ | 7B | 3.8GB | オーラマ ラン コーデラマ |
ラマ2無修正 | 7B | 3.8GB | オラマ・ランllama2-uncensored |
ラマ2 13B | 13B | 7.3GB | オラマ・ラン・ラマ2:13b |
ラマ2 70B | 70B | 39GB | オラマ・ラン・ラマ2:70b |
オルカ・ミニ | 3B | 1.9GB | オラマ・ラン・オルカ・ミニ |
ビキューナ | 7B | 3.8GB | オラマ・ラン・ビキューナ |
LLaVA | 7B | 4.5GB | オラマ・ラン・ラーバ |
ジェマ | 2B | 1.4GB | オラマ・ラン・ジェンマ:2b |
ジェマ | 7B | 4.8GB | オラマ・ラン・ジェンマ:7b |