llms.txt: documentación normalizada de información sobre sitios para modelos lingüísticos de gran tamaño.

Introducción general

llms.txt es un formato de documento estandarizado diseñado específicamente para Large Language Models (LLMs) para ayudar a los sitios web a proporcionar información concisa y estructurada que pueda ser fácil y eficientemente utilizada por los LLMs en su proceso de razonamiento. Esta especificación cuenta con el apoyo de conocidas empresas como Cloudflare y Anthropic. Al utilizar el archivo llms.txt, los sitios web pueden proporcionar a las herramientas de programación de IA información contextual precisa para implementar rápidamente funciones específicas.

Lista de funciones

• Proporcionar un formato de documento normalizado para facilitar el análisis sintáctico de LLM.
• Admite diversos escenarios de aplicación, como documentación de API, guías para desarrolladores, etc.
• Compatible con estándares web existentes como sitemaps y robots.txt
• Ayudar a los sitios web a mejorar la accesibilidad y la utilización de la información
• Apoyo a la integración de herramientas de automatización y herramientas de programación de IA

Utilizar la ayuda

Proceso de instalación

No es necesario instalar el archivo llms.txt, basta con crear un archivo Markdown llamado llms.txt en el directorio raíz de su sitio web y rellenar el contenido según el formato estándar.

Proceso de utilización

1. Creación del archivo llms.txt Cree un archivo Markdown llamado llms.txt en el directorio raíz de su sitio web.
2. Rellene la información de fondo : Proporcione información de fondo concisa en el documento para ayudar a LLM a comprender el contenido principal y el propósito del sitio.
3. Añadir contenido orientativo Proporcionar contenido didáctico sobre cómo utilizar el sitio para ayudar a los estudiantes de Derecho a analizar y utilizar mejor la información del sitio.
4. Enlace : Añade enlaces a archivos Markdown detallados en el archivo llms.txt que pueden contener información más específica, como documentación de la API, descripciones de productos, etc.
5. Mantener los documentos al día El archivo llms.txt se actualiza periódicamente para garantizar la exactitud y actualidad de la información.

ejemplo típico

# llms.txt
## 背景信息
本网站提供关于大语言模型（LLM）使用的详细文档和指导内容，旨在帮助开发者和用户更好地理解和利用LLM技术。
## 指导内容
- 如何使用本网站的API文档
- 常见问题解答
- 开发者指南
## 链接
- API文档
- 开发者指南
- 常见问题解答

consulta

https://developers.cloudflare.com/llms-full.txt

https://docs.anthropic.com/llms-full.txt

https://docs.play.ai/llms-full.txt

Siguiendo estos pasos, puedes crear fácilmente un archivo llms.txt que ayudará a LLM a hacer un mejor uso de la información de tu sitio web.

Noticia relacionada: Simplificación de la documentación sobre IA con /llms.txt

Nuestro equipo ha lanzado recientemente la compatibilidad con /llms.txt y /llms-full.txt, lo que significa que Mintlify ahora genera y aloja automáticamente todos los documentos en formato de texto sin formato para facilitar su ingestión por parte de los modelos de grandes lenguajes (LLM).

En septiembre de 2024, Jeremy Howard, cofundador de Answer.AI, propuso el formato de archivo /llms.txt como una forma estandarizada para que los sitios web proporcionasen información clave a los LLM. Este archivo basado en Markdown destilaba el contenido de un sitio web en un formato limpio y estructurado, eliminando la necesidad de que los LLM analizaran HTML complejo, anuncios o JavaScript.

Al adoptar esta norma, avanzamos hacia un futuro en el que cada empresa ofrecerá dos versiones del documento: una para uso humano y otra para LLM.

La documentación consiste en dar respuestas

Hasta que aparezca la IA, encontrar respuestas a partir de documentos puede ser como un juego de adivinanzas.

La búsqueda en la documentación depende de la utilización de las palabras clave adecuadas. Si busca "edición de facturas" pero el documento se refiere a ello como "ajustes de facturación", entonces no tiene suerte. Sin una búsqueda eficaz, los clientes suelen tener que esforzarse por descifrar la jerarquía de navegación y recorrer páginas interminables.

Se podría intentar recurrir a un motor de búsqueda de terceros para encontrar el documento adecuado o el foro comunitario pertinente. Pero esto depende de un SEO potente y también de la posibilidad de utilizar las palabras clave adecuadas: otra tirada de dados.

En Mintlify, nos centramos en resolver estos retos..:

• Optimizado para SEO: por ejemplo, ofrecemos alojamiento en subdirectorios en lugar de subdominios.
• Chat AI: Nuestros widgets de chat utilizan sus documentos como base de conocimientos para responder de forma inteligente a las preguntas sin necesidad de palabras clave exactas.

Ayude a la IA a ayudarle

Ahora, estamos dando a LLM una mejor manera de trabajar con documentos y ayudar a la gente a utilizar herramientas de IA para encontrar y aplicar información sobre sus productos:

/llms.txt: Navegación masiva para la IA

Este archivo Markdown autogenerado proporciona una vista simplificada de la navegación de todo el documento, permitiendo la ChatGPT tal vez Perplejidad Estos LLM facilitan la indexación de sus contenidos. Piénsalo como SEO para IA: ahora los usuarios pueden encontrar información específica de un producto directamente a través de LLM genéricos.

/llms-full.txt: todos los documentos en un solo lugar

Este archivo generado automáticamente compila todo el texto de su documento en un único archivo Markdown.

Algunas herramientas de IA te permiten pegar enlaces para cargar información directamente en sus ventanas contextuales. Por ejemplo, puede poner su documento a disposición de una herramienta como la Codeium Estos asistentes de codificación de IA permiten ofrecer recomendaciones contextualizadas basadas en detalles específicos de su producto, como su proceso de autenticación.

En lugar de pegar docenas de enlaces para enriquecer el ayudante, puede utilizar /llms-full.txt para proporcionar un archivo completo.

el siguiente paso

Al adoptar la norma /llms.txt, nos complace contribuir a sentar las bases para su uso generalizado en todo el sector.

Estas versiones son sólo el principio. Seguiremos invirtiendo en nuevas formas de hacer que los documentos sean más útiles y accesibles gracias a la inteligencia artificial.