人工知能の分野では、大規模言語モデリング（LLM）技術が急速に変化しており、様々なツールライブラリが登場している。本稿では、LLM開発の課題をよりよく解決するために、120以上の有用なLLMライブラリを機能カテゴリごとに分類し、エンジニアがすぐに見つけて適用できるようにツールボックスにまとめた。
クイックナビゲーション
読者が必要なリソースを素早く見つけられるよう、各カテゴリーのツール・ライブラリへのクイックリンクを紹介する：
| LLM 🚀トレーニングと微調整 | 🧱 LLMアプリケーション開発 | LLM検索強化生成(ラグ) |
| LLM 推論 | LLM サービスの展開 | LLM データ抽出 |
| LLM 🌠 データ生成 | LLMインテリジェント・ボディ | ⚖️ LLMアセスメント |
| ᔍ LLMの監視と制御 | 📅 LLMプロンプト・ワード・エンジニアリング | LLM 構造化出力 |
| LLMの安全性 | LLM 組み込みモデル | ❇️ その他 |
LLM研修と微調整
| 図書館名 | 説明 | リンク |
|---|---|---|
| アンロス | 少ないメモリでLLMを高速に微調整。 | リンク |
| ペフト | 高度なパラメータ効率に優れた微調整ライブラリ。 | リンク |
| TRL | 強化学習によるトレーニング 変流器 言語モデリング。 | リンク |
| トランスフォーマー | Transformersは、テキスト、視覚、音声など、さまざまなモダリティのタスクを実行するために、事前に訓練された何千ものモデルを提供します。 | リンク |
| アホロートル | 様々なAIモデルの事後学習を簡素化するために設計されたツール。 | リンク |
| LLMBox | 統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。 | リンク |
| リットGPT | LLMを素早く訓練し、微調整する。 | リンク |
| メルグー | 複数のLLMエキスパートを簡単にマージし、マージしたLLMを効率的にトレーニングするためのライブラリ。 | リンク |
| ラマ・ファクトリー | シンプルで効率的なLLM微調整ツール。 | リンク |
| ルートヴィヒ | カスタムLLM、ニューラルネットワーク、その他のAIモデルを構築するためのローコードフレームワーク。 | リンク |
| テキストインストラクター | インストラクション・チューニング・モデルをトレーニングするためのフレームワーク。 | リンク |
| ラミニ | LLM推論とチューニングの統合プラットフォーム。 | リンク |
| エックスチューリング | XTuringは、Mistral、LLaMA、GPT-JなどのオープンソースLLMを高速、効率的、かつシンプルに微調整します。 | リンク |
| RL4LMs | 人間の嗜好に合わせて言語モデルを微調整するためのモジュラーRLライブラリ。 | リンク |
| ディープスピード | DeepSpeedは、分散学習と推論をシンプル、効率的、効果的に行うディープラーニング最適化ライブラリです。 | リンク |
| トーチューン | LLMを微調整するために特別に設計されたPyTorchネイティブライブラリ。 | リンク |
| パイトーチ 雷 | LLMの事前学習と微調整のための高レベルインターフェースを提供するライブラリ。 | リンク |
LLMアプリケーション開発
図案
| 図書館名 | 説明 | リンク |
|---|---|---|
| ラングチェーン | LangChainは、Large Language Model（LLM）によって駆動されるアプリケーションを開発するためのフレームワークです。 | リンク |
| ラマ指数 | LlamaIndexはLLMアプリケーションのためのデータフレームワークです。 | リンク |
| ヘイスタック | Haystackはエンド・ツー・エンドのLLMフレームワークで、ユーザーはLLM、Transformerモデル、ベクトル検索などで駆動するアプリケーションを構築することができる。 | リンク |
| 迅速なフロー | LLMベースのAIアプリケーションのエンドツーエンドの開発サイクルを簡素化するために設計された開発ツールのセット。 | リンク |
| グリップテープ | AI駆動型アプリケーション構築のためのモジュール式Pythonフレームワーク。 | リンク |
| 織り | Weaveは生成AIアプリケーションを開発するためのツールキットである。 | リンク |
| ラマ・スタック | ラマ・アプリを作ろう | リンク |
複数のAPIアクセス
| 図書館名 | 説明 | リンク |
|---|---|---|
| LiteLLM | 100以上のLLM APIコールをOpenAI形式で集めたライブラリ。 | リンク |
| AIゲートウェイ | フェンシングを統合した高速AIゲートウェイ。200以上のLLM、50以上のAIフェンスに1つの高速でフレンドリーなAPIを介してルーティングします。 | リンク |
ルータ
| 図書館名 | 説明 | リンク |
|---|---|---|
| ルートLLM | LLMルータのサービスと評価のためのフレームワーク - 品質を損なうことなくLLMのコストを削減 OpenAIクライアントを直接置き換えることで、より単純なクエリをより安価なモデルにルーティング。 | リンク |
あんき
| 図書館名 | 説明 | リンク |
|---|---|---|
| メモ0 | AIアプリケーション用のメモリ層。 | リンク |
| メモリピー | コンテキストを意識したアプリケーションのための、短期・長期記憶、セマンティック・クラスタリング、オプションのメモリ減衰を備えたAIメモリ層。 | リンク |
インターフェース
| 図書館名 | 説明 | リンク |
|---|---|---|
| ストリームライト | Streamlitを使えば、Pythonスクリプトを数分でインタラクティブなウェブアプリケーションに変えることができます。 | リンク |
| グラディオ | Pythonで楽しい機械学習アプリケーションを構築し、共有しましょう。 | リンク |
| AI SDK UI | チャットとジェネレーティブ・ユーザー・インターフェースの構築 | リンク |
| AI-グラジオ | さまざまなAIプロバイダーがサポートするAIアプリケーションを作成する。 | リンク |
| シンプライチャット | 強力な機能と最小限のコードでチャットアプリケーションと簡単にやりとりするためのPythonパッケージ。 | リンク |
| チェーンライト | すぐに使える会話型AIアプリを数分で構築。 | リンク |
ローコード
| 図書館名 | 説明 | リンク |
|---|---|---|
| ラングフロー | LangFlowはRAGやマルチエージェントAIアプリケーションのためのローコードアプリケーションビルダーです。Pythonをベースとしており、モデルやAPI、データベースとは独立しています。 | リンク |
(キャッシュ
| 図書館名 | 説明 | リンク |
|---|---|---|
| GPTCache | LLMクエリ用のセマンティックキャッシュを作成するためのライブラリ。LLM APIのコストを10倍Ὃ低減し、速度を100倍向上。LangChainおよびLlamaIndexと完全に統合。 | リンク |
LLM RAG
| 図書館名 | 説明 | リンク |
|---|---|---|
| FastGraph RAG | 合理的で迅速なFast GraphRAGフレームワークは、解釈可能で高精度のエージェント駆動型検索ワークフローのために設計されている。 | リンク |
| チョンキー | RAGチャンキング・ライブラリ、軽量、超高速、使いやすい。 | リンク |
| RAGChecker | RAGを診断するためのきめ細かいフレームワーク。 | リンク |
| ラグ・トゥ・リッチ | 高度な検索機能付き生成アプリケーションを構築、拡張、展開。 | リンク |
| ビヨンドLLM | Beyond LLMは、RAG（Retrieval Augmented Generation）システムの実験、評価、展開のためのオールインワンのツールキットを提供する。 | リンク |
| SQLite-Vec | どこでも動作するベクトル検索 SQLite 拡張！ | リンク |
| ファスト・ラグ | fastRAGは、高度なLLMと情報検索技術を組み合わせた、効率的で最適化されたエンハンスドジェネレーションパイプラインの検索を行うための研究フレームワークである。 | リンク |
| フラッシュラグ | 効率的なRAG調査のためのPythonツールキット。 | リンク |
| エルムウェア | 小規模な専用モデルを使用してエンタープライズRAGパイプラインを構築するための統一フレームワーク。 | リンク |
| リランカー | 様々な並び替えモデルのための軽量な統一API。 | リンク |
| ベクタラ | Agentic RAGアプリケーションを構築する。 | リンク |
LLM推論
| 図書館名 | 説明 | リンク |
|---|---|---|
| LLMコンプレッサー | 様々な圧縮アルゴリズムをLLMに適用して展開を最適化するためのTransformers互換ライブラリ。 | リンク |
| ライトLLM | PythonベースのLLM推論・サービスフレームワークで、軽量設計、スケーラビリティの容易さ、高速性能で知られている。 | リンク |
| ブイエルエルエム | LLMのための高スループットでメモリ効率の良い推論・サービスエンジン。 | リンク |
| トーチチャット | PyTorch LLMをサーバー、デスクトップ、モバイルデバイスでローカルに実行する。 | リンク |
| TensorRT-LLM | TensorRT-LLMは、Large Language Model (LLM)推論を最適化するためのライブラリです。 | リンク |
| WebLLM | 高性能なブラウザ内LLM推論エンジン。 | リンク |
LLMサービス展開
| 図書館名 | 説明 | リンク |
|---|---|---|
| ラングコーン | FastAPI を使用して、LangChain LLM アプリケーションとエージェントのサービスを自動化します。 | リンク |
| ライトサーブ | あらゆるサイズのAIモデルに対応する超高速サービスエンジン。バッチ処理、ストリーミング、GPUオートスケールなどの機能でFastAPIを強化します。 | リンク |
LLMデータ抽出
| 図書館名 | 説明 | リンク |
|---|---|---|
| クロール4AI | オープンソースのLLMフレンドリーなWebクローラーとクローリングツール。 | リンク |
| ScrapeGraphAI | LLMとダイレクトグラフロジックを使って、ウェブサイトやローカルドキュメント（XML、HTML、JSON、Markdownなど）のクローリングパイプラインを作成するウェブクローリングPythonライブラリ。 | リンク |
| ドクリング | Doclingは、文書を解析し、簡単かつ迅速に希望の形式にエクスポートします。 | リンク |
| ラマ・パース | GenAIネイティブドキュメントパーサーは、下流のLLMユースケース（RAG、エージェント）のために複雑なドキュメントデータを解析することができます。 | リンク |
| PyMuPDF4LLM | PyMuPDF4LLMライブラリは、LLMとRAG環境で必要とされる形式でPDFコンテンツを抽出することを容易にします。 | リンク |
| クローリー | ウェブクローラーとブラウザ自動化ライブラリ。 | リンク |
| メガパース | 文書タイプごとのパーサー。 | リンク |
| エクストラクトシンカー | LLMのためのドキュメント・インテリジェンス・ライブラリー。 | リンク |
LLMデータ作成
| 図書館名 | 説明 | リンク |
|---|---|---|
| データドリーマー | DataDreamerは、プロンプト、合成データ生成、トレーニングワークフローのための強力なオープンソースのPythonライブラリです。 | リンク |
| ファブリケーター | 大規模言語モデルを使用してデータセットを生成するための柔軟なオープンソースフレームワーク。 | リンク |
| プロンプトライト | 合成データセット生成ライブラリ。 | リンク |
| イージーインストラクト | 大規模な言語モデル命令を処理するための使いやすいフレームワーク。 | リンク |
LLMインテリジェント・ボディ
| 図書館名 | 説明 | リンク |
|---|---|---|
| クルーAI | ロールプレイをする自律型AIエージェントを編成するためのフレームワーク。 | リンク |
| ラングラフ | エラスティック言語エージェントをグラフとして構築する。 | リンク |
| アグノ | 記憶、知識、ツール、推論機能を持つAIエージェントを構築。美しいエージェントUIを使って、彼らとチャットしましょう。 | リンク |
| オートジェン | AIエージェントシステム構築のためのオープンソースフレームワーク。 | リンク |
| スモラージェンツ | 数行のコードで強力なエージェントを構築するためのライブラリ。 | リンク |
| パイダンティックAI | Pythonエージェントフレームワークは、生成AIを使用してプロダクショングレードのアプリケーションを構築するためのものです。 | リンク |
| グラジオツール | LLMベースのエージェントがタスクを完了するために利用できるツールにGradioアプリケーションを変換するためのPythonライブラリ。 | リンク |
| コンポジオ | AIエージェントのための量産可能なツールセット。 | リンク |
| アトミック・エージェント | AIエージェントをアトミックに構築する。 | リンク |
| メマリー | 自律型エージェントのためのオープンソースのメモリ層。 | リンク |
| ブラウザの使用 | AIエージェントがアクセスできるサイトにする。 | リンク |
| オープンウェブエージェント | 大規模言語モデルでウェブプロキシ機能を実現するオープンなツールキット。 | リンク |
| ラーゲント | LLMベースのエージェントを構築するための軽量フレームワーク。 | リンク |
| LazyLLM | マルチエージェントLLMアプリケーション構築のためのローコード開発ツール。 | リンク |
| 大群 | エンタープライズクラスのプロダクション対応マルチエージェント・オーケストレーションのためのフレームワーク。 | リンク |
| チャットアリーナ | ChatArenaは、マルチエージェント言語ゲーム環境を提供し、自律LLMエージェントとその社会的相互作用の研究を促進するライブラリです。 | リンク |
| スウォーム | 人間工学に基づいた、軽量なマルチエージェント・オーケストレーション教育フレームワークの探求。 | リンク |
| エージェントスタック | 強力なAIエージェントを構築する最速の方法。 | リンク |
| アーチグ | インテリジェント・エージェント・ゲートウェイ | リンク |
| フロー | AIエージェントを構築するための軽量タスクエンジン。 | リンク |
| エージェント・オプス | AIエージェント監視のためのPython SDK。 | リンク |
| ラングロイド | マルチエージェントのフレームワーク。 | リンク |
| エージェンタリウム | AI主導のエージェントを投入するシミュレーションを作成・管理するためのフレームワーク。 | リンク |
| アップソニック | アジュバント エムシーピー 信頼性の高いAIエージェントのためのフレームワーク。 | リンク |
LLMアセスメント
| 図書館名 | 説明 | リンク |
|---|---|---|
| ラガス | Ragasは大規模言語モデル（LLM）アプリケーションの評価と最適化のための究極のツールキットです。 | リンク |
| ギスカード | MLとLLMシステムのためのオープンソースの評価とテストツール。 | リンク |
| ディープエヴァル | LLM評価の枠組み | リンク |
| ライトヴァル | LLMを評価するためのオールインワンのツールキット。 | リンク |
| トルレンス | LLM実験の評価・追跡ツール | リンク |
| プロンプトベンチ | 大規模言語モデリングのための統一された評価フレームワーク。 | リンク |
| ラングテスト | 安全で有効な言語モデルを提供精度、バイアス、公平性、ロバスト性などの観点からLLMとNLPモデルを比較するための60以上のテストタイプ。 | リンク |
| エバルプラス | LLM4Codeの厳密な評価フレームワーク。 | リンク |
| ファストチャット | 大規模な言語モデルに基づくチャットボットのトレーニング、サービス、評価のためのオープンプラットフォーム。 | リンク |
| 審査員 | LLMの審査員は少ない。 | リンク |
| エバルズ | Evalsは、LLMとLLMシステムを評価し、オープンソースのレジストリをベンチマークするためのフレームワークである。 | リンク |
| エージェント・エヴァルス | エージェントのパフォーマンスを評価するための評価ツールとユーティリティ。 | リンク |
| LLMBox | 統一されたトレーニングパイプラインと包括的なモデル評価を含む、包括的なLLMライブラリ。 | リンク |
| オピック | オープンソースのエンドツーエンドのLLM開発プラットフォームで、LLM評価も含まれています。 | リンク |
LLMモニタリング
| 図書館名 | 説明 | リンク |
|---|---|---|
| MLフロー | LLMアプリケーションを追跡、評価、監視するためのオープンソースのエンドツーエンドMLOps/LLMOpsプラットフォーム。 | リンク |
| オピック | オープンソースのエンドツーエンドのLLM開発プラットフォームで、LLMモニタリングも含まれています。 | リンク |
| ラングスミス | LLMアプリケーションの文書化、監視、改善のためのツールを提供します。 | リンク |
| ウェイト バイアス（W&B） | W&BはLLMのパフォーマンスを追跡する機能を提供している。 | リンク |
| ヘリコーン | 開発者のためのオープンソースLLM観測可能性プラットフォーム。モニタリング、メトリクス、評価、エージェントトラッキング、キュー管理、プレイグラウンドなどを1行で統合できます。 | リンク |
| 明らかに | オープンソースのMLおよびLLM観測可能性フレームワーク。 | リンク |
| フェニックス | 実験、評価、トラブルシューティングのために設計されたオープンソースのAI観測可能性プラットフォーム。 | リンク |
| オブザーバー | AI可観測性のための軽量ライブラリ。 | リンク |
LLM キュー・ワード・エンジニアリング
| 図書館名 | 説明 | リンク |
|---|---|---|
| ピーシーツールキット | 大規模言語モデルのための統合プラグアンドプレイヒント圧縮ツールキット。 | リンク |
| 選択的コンテキスト | 選択的コンテキストは、ユーザーのプロンプトとコンテキストを圧縮し、LLM（ChatGPTなど）が2倍のコンテンツを処理できるようにします。 | リンク |
| LLMLingua | LLM推論を高速化するためにヒントを圧縮するライブラリ。 | リンク |
| ベタープロンプト | LLMプロンプトを本番環境にプッシュする前にテストするためのスイート。 | リンク |
| プロンプティファイ | LLMで自然言語処理問題を解決し、PromptifyでGPT、PaLMなどの一般的な生成モデル用のさまざまな自然言語処理タスクプロンプトを簡単に生成します。 | リンク |
| プロンプトソース | PromptSourceは、自然言語プロンプトを作成、共有、使用するためのツールキットです。 | リンク |
| DSPy | DSPyは、（プロンプトではなく）言語モデルをプログラミングするためのオープンソースのフレームワークです。 | リンク |
| パイプリオンプト | デザイン・ライブラリーの出番だ。 | リンク |
| プロンプティマイザー | ライブラリを最適化するヒント | リンク |
LLM構造化出力
| 図書館名 | 説明 | リンク |
|---|---|---|
| 講師 | 大規模言語モデル（LLM）の構造化出力を処理するためのPythonライブラリ。Pydanticの上に構築され、シンプルで透過的でユーザーフレンドリーなAPIを提供します。 | リンク |
| X文法 | 効率的で柔軟かつポータブルな構造体生成のためのオープンソースライブラリ。 | リンク |
| 概要 | 強力な（構造化）テキスト生成 | リンク |
| ガイダンス | ガイダンスとは、言語モデルを導くために使われる有効なプログラミングパラダイムである。 | リンク |
| LMQL | 制約ブートストラップと効率的なLLMプログラミングのための言語。 | リンク |
| Jsonformer | 言語モデルから構造化JSONを生成するフールプルーフ・メソッド。 | リンク |
LLMセキュリティ
| 図書館名 | 説明 | リンク |
|---|---|---|
| 脱獄評価 | 脱獄の試みを評価するための自動化された評価者のコレクション。 | リンク |
| イージー脱獄 | 敵対的脱獄ヒントを生成するための使いやすいPythonフレームワーク。 | リンク |
| ガードレール | 大規模な言語モデルにガードレールを追加する。 | リンク |
| LLMガード | LLMインタラクティブ・セキュリティ・ツールキット。 | リンク |
| 監査NLG | AuditNLGは、言語生成AIシステムの使用に関連するリスクを軽減するのに役立つオープンソースライブラリです。 | リンク |
| NeMoガードレール | NeMo Guardrailsは、LLMベースの対話システムにプログラマブルなガードレールを簡単に追加するためのオープンソースのツールキットです。 | リンク |
| ガラク | LLM脆弱性スキャナー | リンク |
LLM組み込みモデル
| 図書館名 | 説明 | リンク |
|---|---|---|
| センテンス・トランスフォーマー | 高度なテキスト埋め込みモデル | リンク |
| モデル2Vec | 高速で高度な静的埋め込みモデル | リンク |
| テキスト埋め込み推論 | TEIは、FlagEmbedding、Ember、GTE、E5を含む最も一般的なモデルのための高性能な抽出を可能にします。 | リンク |
その他
| 図書館名 | 説明 | リンク |
|---|---|---|
| テキスト・マキナ | 検出、帰属、境界検出などのMGT関連タスクのロバストモデルを構築するための、高品質で偏りのないデータセットの作成を支援するように設計された、モジュール式で拡張可能なPythonフレームワーク。 | リンク |
| LLMリージョナーズ | 高度な大規模言語モデル推論のためのライブラリ。 | リンク |
| イージーエディット | 大規模言語モデルのための使いやすい知識編集フレームワーク。 | リンク |
| コードTF | CodeTF: 高度なコードLLMのためのワンストップTransformerライブラリ。 | リンク |
| スペースllm | このパッケージは、ラピッドプロトタイピングとキューイングのためのモジュラーシステムを持つspaCyに大規模言語モデル（LLM）を統合し、様々な自然言語処理タスクのためのロバストな出力に非構造化応答を変換します。 | リンク |
| パンダ会 | ユーザーのデータベース（SQL、CSV、pandas、polars、MongoDB、NoSQLなど）とチャット。 | リンク |
| LLM透明性ツール | Transformerベースの言語モデルの内部構造を分析するためのオープンソースのインタラクティブなツールキット。 | リンク |
| バンナ | ユーザのSQLデータベースとチャット。RAGのLLMを使用した正確なテキストからSQLへの生成。 | リンク |
| マージキット | 事前に訓練された大規模言語モデルをマージするためのツール。 | リンク |
| マークLLM | LLM電子透かしオープンソースツールキット。 | リンク |
| LLMSanitize | 自然言語処理データセットと大規模言語モデル（LLM）における汚染検出のためのオープンソースライブラリ。 | リンク |
| アノタテイ | LLMを使用して論文に自動的に注釈を付ける。 | リンク |
| LLMリーゾナー | OpenAIのようなLLMをo1とする。 ディープシーク R1のように考える。 | リンク |
日本語 
简体中文 
English 
Deutsch (Sie) 
Português do Brasil