llms.txt: 대규모 언어 모델을 위한 표준화된 사이트 정보 문서

10.4K 00

일반 소개

llms.txt는 웹사이트가 추론 과정에서 LLM이 쉽고 효율적으로 사용할 수 있는 간결하고 구조화된 정보를 제공할 수 있도록 대규모 언어 모델(LLM)을 위해 특별히 설계된 표준화된 문서 형식입니다. 이 사양은 Cloudflare 및 Anthropic과 같은 잘 알려진 회사에서 지원합니다. 웹사이트는 llms.txt 파일을 사용하여 AI 프로그래밍 도구에 정확한 컨텍스트 정보를 제공함으로써 타깃 기능을 신속하게 구현할 수 있습니다.

기능 목록

손쉬운 LLM 구문 분석을 위한 표준화된 문서 형식 제공
API 문서, 개발자 가이드 등 다양한 애플리케이션 시나리오를 지원합니다.
사이트맵 및 robots.txt와 같은 기존 웹 표준과 호환 가능
웹사이트의 접근성 및 정보 활용도 향상 지원
자동화 도구와 AI 프로그래밍 도구의 통합 지원

도움말 사용

설치 프로세스

llms.txt 파일은 설치할 필요 없이 웹사이트의 루트 디렉터리에 llms.txt라는 이름의 마크다운 파일을 만들고 표준 형식에 따라 콘텐츠를 채우기만 하면 됩니다.

사용 프로세스

llms.txt 파일 만들기 웹사이트의 루트 디렉터리에 llms.txt라는 마크다운 파일을 만듭니다.
배경 정보 입력 문서에 간결한 배경 정보를 제공하여 LLM이 사이트의 주요 콘텐츠와 목적을 이해하는 데 도움이 되도록 합니다.
안내 콘텐츠 추가하기 사이트 사용 방법에 대한 교육 콘텐츠를 제공하여 LLM이 사이트의 정보를 더 잘 분석하고 활용할 수 있도록 돕습니다.
링크 세부 정보 API 문서, 제품 설명 등과 같은 보다 구체적인 정보를 포함할 수 있는 자세한 마크다운 파일에 대한 링크를 llms.txt 파일에 추가합니다.
문서를 최신 상태로 유지 llms.txt 파일은 정보가 정확하고 최신 상태인지 확인하기 위해 정기적으로 업데이트됩니다.

일반적인 예

# llms.txt
## 背景信息
本网站提供关于大语言模型（LLM）使用的详细文档和指导内容，旨在帮助开发者和用户更好地理解和利用LLM技术。
## 指导内容
- 如何使用本网站的API文档
- 常见问题解答
- 开发者指南
## 链接
- API文档
- 开发者指南
- 常见问题解答

상담

https://developers.cloudflare.com/llms-full.txt

https://docs.anthropic.com/llms-full.txt

https://docs.play.ai/llms-full.txt

다음 단계에 따라 LLM이 웹사이트 정보를 더 잘 활용할 수 있도록 도와주는 llms.txt 파일을 쉽게 만들 수 있습니다.

관련 뉴스: /llms.txt로 AI 문서 간소화하기

저희 팀은 최근 /llms.txt 및 /llms-full.txt에 대한 지원을 출시했는데, 이는 이제 Mintlify가 모든 문서를 일반 텍스트 형식으로 자동 생성하고 호스팅하여 대규모 언어 모델(LLM)이 쉽게 수집할 수 있도록 한다는 의미입니다.

2024년 9월, Answer.AI의 공동 창립자인 제레미 하워드는 웹사이트가 LLM에 주요 정보를 제공할 수 있는 표준화된 방법으로 /llms.txt 파일 형식을 제안했습니다. 이 마크다운 기반 파일은 웹사이트의 콘텐츠를 깔끔하고 구조화된 형식으로 추출하여 LLM이 복잡한 HTML, 광고 또는 JavaScript를 파싱할 필요가 없도록 했습니다.

이 표준을 채택함으로써 모든 회사가 사람이 사용할 수 있는 버전과 LLM이 사용할 수 있는 버전, 두 가지 버전의 문서를 제공하는 미래를 향해 나아가고 있습니다.

문서화는 답을 전달하는 것입니다.

AI가 등장하기 전까지는 문서에서 답을 찾는 것은 추측 게임과 같을 수 있습니다.

문서에서 검색하려면 올바른 키워드를 사용해야 합니다. '인보이스 편집'을 검색하려고 하는데 문서에서 '청구 조정'으로 언급되어 있다면 운이 없는 것입니다. 효과적인 검색이 없으면 고객은 종종 탐색 계층 구조를 해독하고 끝없는 페이지를 탐색하는 데 어려움을 겪어야 합니다.

올바른 문서나 관련 커뮤니티 포럼을 찾기 위해 타사 검색 엔진을 사용할 수도 있습니다. 하지만 이는 강력한 SEO와 올바른 키워드를 사용할 수 있는 기회, 즉 또 다른 주사위를 던지는 것에 달려 있습니다.

민틀리파이에서는 다음과 같은 방법으로 이러한 문제를 해결하는 데 집중합니다:

SEO 최적화: 예를 들어, 하위 도메인이 아닌 하위 디렉터리에서 호스팅을 제공합니다.
AI 채팅: 채팅 위젯은 문서를 지식 베이스로 사용하여 정확한 키워드 없이도 질문에 지능적으로 답변할 수 있습니다.

AI의 도움

이제 저희는 LLM에 더 나은 문서 작업 방법을 제공하고 사람들이 AI 도구를 사용하여 제품에 대한 정보를 찾고 적용할 수 있도록 돕고 있습니다:

/llms.txt: AI를 위한 매우 친숙한 내비게이션

이 자동 생성된 마크다운 파일은 전체 문서 탐색을 간소화하여 다음과 같은 기능을 제공합니다. ChatGPT 어쩌면 당혹감 이러한 LLM을 사용하면 콘텐츠를 더 쉽게 색인화할 수 있습니다. 이제 사용자는 일반 LLM을 통해 제품별 정보를 직접 찾을 수 있습니다.

/llms-full.txt: 모든 문서를 한곳에서 확인

자동으로 생성된 이 파일은 모든 문서 텍스트를 하나의 마크다운 파일로 컴파일합니다.

일부 AI 도구에서는 링크를 붙여넣어 해당 컨텍스트 창에 직접 정보를 로드할 수 있습니다. 예를 들어, 문서를 다음과 같은 도구에서 사용할 수 있도록 설정할 수 있습니다. 코듐 이러한 AI 코딩 어시스턴트를 사용하면 인증 프로세스 등 제품의 특정 세부 정보를 기반으로 컨텍스트 인식 추천을 제공할 수 있습니다.

도우미를 강화하기 위해 수십 개의 링크를 붙여넣는 대신 /llms-full.txt를 사용하여 포괄적인 파일을 제공할 수 있습니다.