llms.txt：大規模言語モデルのための標準サイト情報ドキュメント

はじめに

llms.txtは、Large Language Models (LLM)のために特別に設計された標準化された文書フォーマットで、ウェブサイトがLLMの推論プロセスで簡単かつ効率的に使用できる簡潔で構造化された情報を提供するのに役立ちます。この仕様は、CloudflareやAnthropicといった有名企業によってサポートされています。llms.txtファイルを使用することで、ウェブサイトはAIプログラミングツールに正確な文脈情報を提供し、目標とする機能を迅速に実装することができます。

機能一覧

• LLMの解析を容易にする標準化された文書フォーマットを提供する。
• APIドキュメント、開発者ガイドなど、さまざまなアプリケーションシナリオをサポートします。
• サイトマップやrobots.txtなどの既存のウェブ標準との互換性
• ウェブサイトのアクセシビリティ向上と情報活用の支援
• 自動化ツールとAIプログラミングツールの統合サポート

ヘルプの使用

設置プロセス

llms.txtファイルをインストールする必要はありません。ウェブサイトのルートディレクトリにllms.txtという名前のMarkdownファイルを作成し、標準フォーマットに従って内容を記入するだけです。

使用プロセス

1. llms.txtファイルの作成 ウェブサイトのルートディレクトリにllms.txtというMarkdownファイルを作成します。
2. 背景情報の記入 : LLMがサイトの主な内容や目的を理解できるよう、簡潔な背景情報を文書に記載すること。
3. ガイダンス・コンテンツの追加 LLMがサイト上の情報をよりよく解析し、活用できるよう、サイトの使用方法に関する解説コンテンツを提供する。
4. リンク詳細 : llms.txtファイルに、APIドキュメントや商品説明など、より具体的な情報を含むことができる詳細なMarkdownファイルへのリンクを追加。
5. ドキュメントの更新 : llms.txtファイルは、情報が正確で最新であることを保証するために定期的に更新されます。

典型例

# llms.txt
##背景情報
このサイトは、Large Language Model (LLM)の使用に関する詳細なドキュメントとガイダンスコンテンツを提供し、開発者とユーザがLLM技術をよりよく理解し、活用できるように設計されています。
##ガイダンスコンテンツ
- このサイトのAPIドキュメントの使い方
- よくある質問
- 開発者ガイド
##リンク集
- APIドキュメント
- 開発者ガイド
- よくある質問

協議

https://developers.cloudflare.com/llms-full.txt

https://docs.anthropic.com/llms-full.txt

https://docs.play.ai/llms-full.txt

以下の手順を踏むことで、簡単にllms.txtファイルを作成することができ、LLMがあなたのウェブサイト情報をより有効に活用できるようになります。

関連ニュース：/llms.txtによるAIドキュメンテーションの簡素化

私たちのチームは最近、/llms.txtと/llms-full.txtのサポートをリリースしました。つまり、Mintlifyは、大規模言語モデル(LLM)による取り込みを容易にするために、すべての文書をプレーンテキスト形式で自動的に生成し、ホストするようになったのです。

2024年9月、Answer.AIの共同設立者であるジェレミー・ハワードは、ウェブサイトがLLMに重要な情報を提供するための標準的な方法として、/llms.txtファイル形式を提案した。このMarkdownベースのファイルは、ウェブサイトのコンテンツをクリーンで構造化されたフォーマットに抽出し、LLMが複雑なHTML、広告、JavaScriptを解析する必要性を排除した。

この規格を採用することで、すべての企業がヒト用とLLM用の2種類の文書を提供する未来に向かっている。

ドキュメンテーションとは、答えを届けること

AIが登場するまでは、文書から答えを見つけるのは推測ゲームのようなものだ。

ドキュメントの検索は、正しいキーワードを使うかどうかにかかっています。請求書の編集」を検索しているのに、文書では「請求書の調整」となっていたら、運が悪かったとしか言いようがない。効果的な検索がなければ、顧客はしばしばナビゲーションの階層を読み解くのに苦労し、果てしないページを移動しなければならない。

適切な文書や関連するコミュニティ・フォーラムを見つけるために、サードパーティの検索エンジンに頼ろうとするかもしれない。しかし、これは強力なSEOと正しいキーワードを使うチャンスに依存している。

Mintlifyでは、このような課題を解決するために..：

• SEO最適化：例えば、サブドメインではなくサブディレクトリでのホスティングを提供しています。
• AIチャット：弊社のチャットウィジェットは、お客様のドキュメントをナレッジベースとして使用し、正確なキーワードを必要とせずにインテリジェントに質問に回答します。

AIがあなたを助ける

今、私たちはLLMに文書を扱うより良い方法を提供し、人々がAIツールを使って御社の製品に関する情報を見つけ、活用するのを支援します：

/llms.txt：AIのためのマッシブ・フレンドリー・ナビゲーション

この自動生成されたMarkdownファイルは、文書全体のナビゲーションを簡略化したビューを提供し、以下のようなことが可能になります。 チャットGPT もしかしたら 当惑 このようなLLMは、コンテンツのインデックス化を容易にします。これは、AIのSEOと同じだと考えてください。ユーザーは、一般的なLLMを通じて、製品固有の情報を直接見つけることができるようになります。

/llms-full.txt：すべてのドキュメントを一箇所にまとめる

この自動生成されたファイルは、すべての文書テキストを1つのMarkdownファイルにまとめます。

AIツールの中には、情報を読み込むためのリンクを直接コンテキスト・ウィンドウに貼り付けることができるものもある。例えば、あなたのドキュメントを コーディウム このようなAIコーディング・アシスタントは、認証プロセスなど、製品の具体的な詳細に基づいて、コンテキストを意識した推奨を提供することが可能になる。

ヘルパーを充実させるために何十ものリンクを貼り付ける代わりに、/llms-full.txtを使って包括的なファイルを提供することができる。

次のステップ

我々は/llms.txt規格を採用することで、この規格が業界全体に普及するための土台作りに貢献できることを嬉しく思う。

これらのリリースは始まりに過ぎません。私たちは、AIがドキュメントをより便利で利用しやすくするための新しい方法への投資を続けていきます。