llms.txt: Documentação padronizada de informações do site para modelos de idiomas grandes

Introdução geral

O llms.txt é um formato de documento padronizado projetado especificamente para Modelos de Linguagem Grande (LLMs) para ajudar os sites a fornecer informações concisas e estruturadas que podem ser usadas de forma fácil e eficiente pelos LLMs em seu processo de raciocínio. Essa especificação é apoiada por empresas conhecidas, como a Cloudflare e a Anthropic. Usando o arquivo llms.txt, os sites podem fornecer às ferramentas de programação de IA informações contextuais precisas para implementar rapidamente recursos específicos.

Lista de funções

• Fornecer um formato de documento padronizado para facilitar a análise do LLM
• Suporta uma variedade de cenários de aplicativos, como documentação de API, guias do desenvolvedor, etc.
• Compatível com os padrões da Web existentes, como sitemaps e robots.txt
• Ajudar os sites a melhorar a acessibilidade e a utilização das informações
• Suporte para integração de ferramentas de automação e ferramentas de programação de IA

Usando a Ajuda

Processo de instalação

O arquivo llms.txt não precisa ser instalado, basta criar um arquivo Markdown chamado llms.txt no diretório raiz do seu site e preencher o conteúdo de acordo com o formato padrão.

Processo de uso

1. Criação do arquivo llms.txt Crie um arquivo Markdown chamado llms.txt no diretório raiz do seu site.
2. Preencher informações sobre o histórico Informações básicas: Forneça informações básicas concisas no documento para ajudar o LLM a entender o conteúdo principal e a finalidade do site.
3. Adição de conteúdo de orientação Fornecimento de conteúdo instrucional sobre como usar o site para ajudar os LLMs a analisar e utilizar melhor as informações do site.
4. Detalhes do link Adicionar links para arquivos Markdown detalhados no arquivo llms.txt que podem conter informações mais específicas, como documentação de API, descrições de produtos etc.
5. Manter os documentos atualizados O arquivo llms.txt é atualizado regularmente para garantir que as informações sejam precisas e atuais.

exemplo típico

# llms.txt
## Informações básicas
Este site fornece documentação detalhada e conteúdo de orientação sobre o uso do Modelo de Linguagem Grande (LLM), projetado para ajudar os desenvolvedores e usuários a entender e utilizar melhor a tecnologia LLM.
Conteúdo de orientação do ##
- Como usar a documentação da API neste site
- Perguntas frequentes
- Guia do desenvolvedor
Links do ##
- Documentação da API
- Guia do desenvolvedor
- Perguntas frequentes

consulta

https://developers.cloudflare.com/llms-full.txt

https://docs.anthropic.com/llms-full.txt

https://docs.play.ai/llms-full.txt

Seguindo essas etapas, você poderá criar facilmente um arquivo llms.txt que ajudará o LLM a fazer melhor uso das informações do seu site.

Notícias relacionadas: Simplificando a documentação de IA com /llms.txt

Recentemente, nossa equipe lançou o suporte para /llms.txt e /llms-full.txt, o que significa que o Mintlify agora gera e hospeda automaticamente todos os documentos em formato de texto simples para facilitar a ingestão por modelos de linguagem grande (LLMs).

Em setembro de 2024, Jeremy Howard, cofundador da Answer.AI, propôs o formato de arquivo /llms.txt como uma forma padronizada de os sites fornecerem informações importantes aos LLMs. Esse arquivo baseado em Markdown destilava o conteúdo de um site em um formato limpo e estruturado, eliminando a necessidade de os LLMs analisarem HTML, anúncios ou JavaScript complexos.

Ao adotar esse padrão, estamos caminhando para um futuro em que todas as empresas oferecerão duas versões do documento: uma para uso humano e outra para LLM.

A documentação consiste em fornecer respostas

Até o surgimento da IA, encontrar respostas em documentos pode ser como um jogo de adivinhação.

A pesquisa na documentação depende do uso das palavras-chave corretas. Se você estiver procurando por "edição de faturas", mas o documento se referir a isso como "ajustes de faturamento", você não terá sorte. Sem uma pesquisa eficaz, os clientes geralmente têm que se esforçar para decifrar a hierarquia de navegação e navegar por páginas intermináveis.

Pode-se tentar recorrer a um mecanismo de pesquisa de terceiros para encontrar o documento certo ou o fórum relevante da comunidade. Mas isso depende de um SEO forte e também da chance de usar as palavras-chave corretas - outra jogada de dados.

Na Mintlify, nosso foco é solucionar esses desafios..:

• Otimizado para SEO: por exemplo, oferecemos hospedagem em subdiretórios em vez de subdomínios.
• AI Chat: nossos widgets de bate-papo usam seus documentos como uma base de conhecimento para responder a perguntas de forma inteligente, sem a necessidade de palavras-chave exatas.

Ajude a IA a ajudar você

Agora, estamos oferecendo ao LLM uma maneira melhor de trabalhar com documentos e ajudar as pessoas a usar ferramentas de IA para encontrar e aplicar informações sobre seus produtos:

/llms.txt: Navegação massivamente amigável para IA

Esse arquivo Markdown gerado automaticamente fornece uma visão simplificada de toda a navegação do documento, permitindo a utilização de recursos como ChatGPT talvez Perplexidade Esses LLMs facilitam a indexação de seu conteúdo. Pense nisso como SEO para IA - os usuários agora podem encontrar informações específicas do produto diretamente por meio de LLMs genéricos.

/llms-full.txt: todos os documentos em um só lugar

Esse arquivo gerado automaticamente compila todo o texto do documento em um único arquivo Markdown.

Algumas ferramentas de IA permitem que você cole links para carregar informações diretamente em suas janelas de contexto. Por exemplo, você pode disponibilizar seu documento para uma ferramenta como a Códice Esses assistentes de codificação de IA possibilitam fornecer recomendações sensíveis ao contexto com base em detalhes específicos do seu produto, como o processo de autenticação.

Em vez de colar dezenas de links para enriquecer o auxiliar, você pode usar /llms-full.txt para fornecer um arquivo abrangente.

a próxima etapa

Ao adotar o padrão /llms.txt, temos o prazer de ajudar a estabelecer as bases para seu uso generalizado em todo o setor.

Esses lançamentos são apenas o começo. Continuaremos investindo em novas maneiras de a IA tornar os documentos mais úteis e acessíveis - fique atento às principais atualizações em breve.