KoboldCpp: KoboldAIを参照してGGUFモデルをAPIとGUIで簡単に実行できます。

はじめに

KoboldCppは、オリジナルのKoboldAIに触発された、GGMLとGGUFモデルのための使いやすいAIテキスト生成ソフトウェアです。 ラマ.cpp をビルドし、柔軟なKoboldAI APIエンドポイント、追加フォーマットのサポート、Stable Diffusion画像生成、音声読み上げ、後方互換性、および永続的なストーリー、編集ツール、保存形式、メモリ、ワールド情報、作者ノート、キャラクター、シーンなどを備えた豪華なUIを追加します。Liteが提供するすべての機能を備えています。

機能一覧

• GGMLおよびGGUFモデルのサポート
• 複数のフォーマットをサポート
• 画像生成機能
• 音声テキスト機能
• 永続的なストーリーテリングと編集ツール
• セーブフォーマットとメモリー機能
• 世界の情報と著者ノート
• キャラクターとシーンの作成

ヘルプの使用

設置プロセス

1. Windowsユーザー::
   • 最新のダウンロード koboldcpp.exe バージョン
   • うごきだす koboldcpp.exeGUIはコマンドライン引数なしで表示できる。
   • GGUFモデルを取得し、ロードする。
2. Linuxユーザー::
   • コンパイル済みのPyInstallerバイナリをダウンロードします。
   • うごきだす chmod +x koboldcpp ドキュメントを実行可能にする。
   • うごきだす ./koboldcpp ソフトウェアを起動する。
3. MacOSユーザー::
   • ARM64 MacOS用のバイナリをダウンロードする。
   • ターミナルで実行可能なファイルに設定する：chmod +x koboldcpp-mac-arm64.
   • うごきだす ./koboldcpp-mac-arm64 ソフトウェアを起動する。

使用ガイドライン

1. 積載モデル::
   • GGUFモデルファイルをダウンロードする。
   • モデルを選択し、ソフトウェアにロードする。
2. テキスト生成::
   • プリセットとGPUレイヤーを選択する。
   • テキストプロンプトを入力し、生成ボタンをクリックします。
3. 画像生成::
   • 画像生成モデルを選択する。
   • 説明テキストを入力し、画像の生成をクリックします。
4. 音声テキスト化::
   • 音声ファイルをアップロードするか、マイクを使って録音します。
   • 変換ボタンをクリックすると、テキスト結果が表示されます。
5. 編集と保存::
   • 編集ツールを使って、生成されたテキストや画像を修正します。
   • ファイルをローカルまたはクラウドに保存。

詳細設定

• GPUアクセラレーション使用 --usecublas もしかしたら --usevulkan GPUアクセラレーションを有効にするフラグ。
• コンテクストのサイズ使用 --contextsize コンテキストのサイズを大きくする。
• 互換モード使用 --noavx2 非 AVX2 互換モードを有効にするフラグ。