llms.txt : documentation standardisée sur les informations relatives au site pour les grands modèles linguistiques

Introduction générale

llms.txt est un format de document standardisé conçu spécifiquement pour les grands modèles de langage (LLM) afin d'aider les sites web à fournir des informations concises et structurées qui peuvent être utilisées facilement et efficacement par les LLM dans le processus de raisonnement. Cette spécification est soutenue par des entreprises renommées telles que Cloudflare et Anthropic. En utilisant le fichier llms.txt, les sites web peuvent fournir aux outils de programmation de l'IA des informations contextuelles précises pour mettre en œuvre rapidement des fonctionnalités ciblées.

Liste des fonctions

• Fournir un format de document standardisé pour faciliter l'analyse du LLM
• Prise en charge de divers scénarios d'application, tels que la documentation de l'API, les guides du développeur, etc.
• Compatible avec les normes web existantes telles que les sitemaps et robots.txt
• Aider les sites web à améliorer l'accessibilité et l'utilisation des informations
• Aide à l'intégration des outils d'automatisation et de programmation de l'IA

Utiliser l'aide

Processus d'installation

Le fichier llms.txt n'a pas besoin d'être installé, il suffit de créer un fichier Markdown nommé llms.txt dans le répertoire racine de votre site web et de remplir le contenu selon le format standard.

Processus d'utilisation

1. Création du fichier llms.txt Créer un fichier Markdown appelé llms.txt dans le répertoire racine de votre site web.
2. Remplir les informations de base Les informations de base : Fournir des informations de base concises dans le document pour aider LLM à comprendre le contenu principal et l'objectif du site.
3. Ajouter un contenu d'orientation Fournir un contenu didactique sur la manière d'utiliser le site afin d'aider les MFR à mieux analyser et utiliser l'information sur le site.
4. Détails du lien Ajout de liens vers des fichiers Markdown détaillés dans le fichier llms.txt qui peuvent contenir des informations plus spécifiques telles que la documentation de l'API, les descriptions de produits, etc.
5. Mise à jour des documents Le fichier llms.txt est régulièrement mis à jour pour garantir l'exactitude et l'actualité des informations.

exemple typique

# llms.txt
## 背景信息
本网站提供关于大语言模型（LLM）使用的详细文档和指导内容，旨在帮助开发者和用户更好地理解和利用LLM技术。
## 指导内容
- 如何使用本网站的API文档
- 常见问题解答
- 开发者指南
## 链接
- API文档
- 开发者指南
- 常见问题解答

consultation

https://developers.cloudflare.com/llms-full.txt

https://docs.anthropic.com/llms-full.txt

https://docs.play.ai/llms-full.txt

En suivant ces étapes, vous pouvez facilement créer un fichier llms.txt qui aidera LLM à mieux utiliser les informations de votre site Web.

Actualités liées : Simplifier la documentation sur l'IA avec /llms.txt

Notre équipe a récemment mis en place un support pour /llms.txt et /llms-full.txt, ce qui signifie que Mintlify génère et héberge désormais automatiquement tous les documents au format texte brut pour faciliter l'ingestion par les Grands Modèles de Langage (LLM).

En septembre 2024, Jeremy Howard, cofondateur d'Answer.AI, a proposé le format de fichier /llms.txt comme moyen normalisé pour les sites web de fournir des informations clés aux LLM. Ce fichier basé sur le langage Markdown décompose le contenu d'un site web dans un format propre et structuré, ce qui évite aux LLM d'analyser des codes HTML complexes, des publicités ou du JavaScript.

En adoptant cette norme, nous nous dirigeons vers un avenir où chaque entreprise fournira deux versions du document : une version pour l'usage humain et une autre pour l'usage LLM.

La documentation consiste à fournir des réponses

Jusqu'à l'arrivée de l'IA, trouver des réponses à partir de documents peut s'apparenter à un jeu de devinettes.

La recherche dans la documentation dépend de l'utilisation des bons mots-clés. Si vous cherchez "édition de factures" mais que le document parle d'"ajustements de facturation", vous n'avez pas de chance. Sans une recherche efficace, les clients doivent souvent lutter pour déchiffrer la hiérarchie de navigation et parcourir des pages interminables.

On peut essayer de se tourner vers un moteur de recherche tiers pour trouver le bon document ou un forum communautaire pertinent. Mais cela dépend d'un bon référencement et de la possibilité d'utiliser les bons mots-clés - un autre coup de dés.

Chez Mintlify, nous nous concentrons sur la résolution de ces défis en.. :

• Optimisation du référencement : par exemple, nous proposons un hébergement dans des sous-répertoires plutôt que dans des sous-domaines.
• AI Chat : nos widgets de chat utilisent vos documents comme base de connaissances pour répondre intelligemment aux questions sans avoir besoin de mots-clés exacts.

Aidez l'IA à vous aider

Aujourd'hui, nous offrons à LLM une meilleure façon de travailler avec les documents et d'aider les gens à utiliser des outils d'intelligence artificielle pour trouver et appliquer des informations sur vos produits :

/llms.txt : Navigation massivement conviviale pour l'IA

Ce fichier Markdown auto-généré fournit une vue simplifiée de la navigation de l'ensemble de votre document, ce qui permet d'utiliser des éléments tels que la fonction ChatGPT peut-être Perplexité Ces LLM facilitent l'indexation de votre contenu. Les utilisateurs peuvent désormais trouver des informations spécifiques à un produit directement par le biais de LLM génériques.

/llms-full.txt : tous les documents en un seul endroit

Ce fichier généré automatiquement compile tout le texte de votre document en un seul fichier Markdown.

Certains outils d'IA vous permettent de coller des liens pour charger des informations directement dans leurs fenêtres contextuelles. Par exemple, vous pouvez mettre votre document à la disposition d'un outil tel que l'application Codeium Ces assistants de codage IA permettent de fournir des recommandations contextuelles basées sur des détails spécifiques de votre produit, tels que votre processus d'authentification.

Au lieu de coller des dizaines de liens pour enrichir l'aide, vous pouvez utiliser /llms-full.txt pour fournir un fichier complet.

l'étape suivante

En adoptant la norme /llms.txt, nous sommes heureux de contribuer à jeter les bases de son utilisation généralisée dans l'ensemble du secteur.

Ces versions ne sont qu'un début. Nous continuerons à investir dans de nouveaux moyens pour que l'IA rende les documents plus utiles et plus accessibles - restez à l'écoute pour les mises à jour majeures à venir.