DeepSeek R1은 첫 번째 릴리스에서 강력한 추론 기능을 선보였습니다. 이 블로그 게시물에서는 추론 기능을 사용하는 방법에 대해 자세히 설명합니다. DeepSeek R1 법률 문서 분야를 전문으로 하는 검색 증강 생성(RAG) 시스템 구축 경험.

법률 전문가들이 수많은 판례, 법령, 법률 검토를 검색해야 하는 어려운 작업에 직면하는 경우가 많기 때문에 법률 문서를 선택했습니다. 아무리 세심한 조사를 하더라도 내용을 정확하게 요약하는 것은 고사하고 적합한 문서를 찾는 데 어려움을 겪을 수 있습니다. 바로 이런 경우 RAG 큰 차이를 만들 수 있는 영역(Harvey AI 참조).

우리는 대규모 법률 문서 데이터 세트를 기반으로 임베딩 모델로 DeepSeek R1과 Qwen2를 사용해 RAG를 구축했습니다. 전체 RAG 구축 프로세스를 오픈 소스화했습니다( vLLM 노래로 응답 스카이파일럿 지원 제공)를 통해 어떤 것이 효과가 있고 어떤 것이 효과가 없는지 등 몇 가지 귀중한 교훈을 공유했습니다.

직접 체험해보고 싶으신가요? 온라인 데모를 사용해 보세요:여기를 클릭하세요.

이 RAG 빌드 프로세스를 오픈소스화했습니다. 보려면 여기를 클릭하세요.. 결합하는 방법을 자유롭게 살펴보십시오. vLLM + SkyPilot 빠르고 안정적이며 확장 가능한 성능을 제공합니다.

법률 문서에 RAG를 구축하는 이유는 무엇인가요?

검색 증강 생성(RAG)은 정확성과 추적성이 가장 중요한 법률과 같은 분야에서 매우 중요합니다. 전문화된 리트리버와 강력한 대규모 언어 모델(LLM) 생성기를 결합하면 최적의 결과를 얻을 수 있습니다:

1. 관련성이 높은 문서의 비율검색(데이터)
2. 추론력이 있는 텍스트생성
3. 직접 참조환각 감소

이 RAG를 구축하기 위해 다음을 사용했습니다:

• 법 더미/법 더미 데이터 집합의 하위 집합(법률 자문 중심);
• 크로마DB 임베딩을 저장하고 쿼리하기 위한 벡터 저장소 역할을 합니다;
• Qwen2 를 검색 임베딩 모델로 사용하세요;
• DeepSeek R1 최종 답변으로 모델을 생성합니다.

전체 시스템은 다음에서 실행됩니다. vLLM 를 통해 전달할 수 있으며 스카이파일럿 모든 클라우드에 원활하게 배포하여 최적의 GPU 가용성과 비용 효율성을 보장합니다. 전체 오픈 소스 RAG 빌드 프로세스는 여기에서 확인할 수 있습니다.

귀중한 경험: 주의사항 및 금기 사항

1. 검색에 DeepSeek R1을 사용하지 마세요.

망설이지 말고 (실행하세요.) DeepSeek R1 는 추론 능력이 뛰어나지만부적합임베드 생성용 - 적어도 지금은 아닙니다.

특수 임베딩 모델을 사용하면 다음과 같은 이점을 얻을 수 있습니다. Alibaba-NLP/gte-Qwen2-7B-instruct(현재 MTEB에 있음) 차트(베스트셀러) (가장 높은 순위의 임베딩 모델)에 의해 생성된 임베딩과 비교하여 딥서치 R1에서 생성된 임베딩을 비교합니다.

이 두 모델을 각각 사용하여 데이터 세트에 대한 임베딩을 생성하고 두 개의 벡터 데이터베이스를 구축합니다. 그런 다음 두 모델에 동일한 쿼리를 사용하여 각 벡터 데이터베이스에서 가장 유사한 임베딩 상위 5개가 검색됩니다.

문의: 我收到了一张关于债务纠纷的小额索赔法庭传票，我应该如何准备？

왜 차이가 있을까요?

위의 표에서 DeepSeek R1의 검색 결과가 훨씬 더 나쁩니다. 그 이유는 무엇일까요?

근본적인 문제는 DeepSeek R1의 학습 방식에 있다고 생각합니다. DeepSeek R1의 아키텍처는 순차적 사고와 논리적 연결을 강조하는 추론에 주로 초점을 맞추고 있습니다.즉, DeepSeek R1은 문서를 시맨틱 공간에 매핑하지 않습니다.

이와 대조적으로, Qwen2 변형(gte-Qwen2-7B-instruct) 의미론적 유사성 작업을 위한 교육특정 문구에 관계없이 개념적으로 유사한 문서가 서로 밀집된 고차원 공간을 만들 수 있습니다.

이러한 학습 접근 방식의 차이로 인해 Qwen2는 쿼리 의도를 잘 포착하는 반면, DeepSeek R1은 주제와 관련이 있지만 실질적으로 관련이 없는 결과를 검색하는 추론 경로를 따르는 경우가 있습니다.

임베딩을 위해 미세 조정하지 않는 한, DeepSeek R1을 RAG의 검색 임베딩 모델로 사용해서는 안 됩니다.

2. R1을 사용한 세대: 인상적인 추론 능력

망설이지 말고 (실행하세요.) R1 임베딩하는 데 약간의 어려움이 있지만 생성 그렇게 할 수 있는 능력은 놀랍습니다. R1의 연쇄적 사고 방식을 활용하여 관찰했습니다:

• 더 강력한 일관성: 이 모델은 여러 문서에서 정보를 종합하고 관련 구절을 명확하게 참조할 수 있습니다.
• 환각 감소: R1 내부적으로 '스스로' 추론하고 각 결론을 데이터로 검증하세요.

몇 가지 예를 살펴보겠습니다:

예 1: 임대 종료

질문: 我想解除租约，但房东不允许我这样做。

예 2: 소액 청구 법원

질문. 我收到了一张关于争议债务的小额索赔法院传票。我应该如何准备？

이러한 예시를 통해 DeepSeek R1의 추론 능력이 뛰어나다는 것을 알 수 있습니다. 이 사고 프로세스는 원본 법률 문서에서 결론을 도출하는 방법을 명확하게 보여줍니다:

• R1은 먼저 일관된 모델 의 세부 추론 과정에 반영된 법적 이슈를 이해하는 데 도움이 됩니다:首先，我记得关于提前终止罚款的内容……文档 1 提到…… 이 '검색 전 추론' 접근 방식을 통해 모델은 검색 전에 여러 소스의 개념을 체계적으로 연결할 수 있습니다.
• 임대 계약 종료 또는 소액 청구 소송과 같은 복잡한 시나리오를 처리할 때 R1 환각이 없습니다. 를 사용하여 각 문서에 대한 이해를 명시적으로 분류하는 대신(综合来看……).
• 마지막으로, 생성기는 결론과 출처를 연결하는 정확한 참조를 사용하여 추론을 설명합니다. 이렇게 하면 질문에서 추론, 답변으로 이어지는 명확한 연결 고리를 통해 엄격함과 접근성을 보장할 수 있습니다.

다양한 법률 쿼리를 시도한 결과, 이 모델이 원본 문서에서 정보를 추출할 수 있을 뿐만 아니라 그 내용을 학습하고 추론할 수 있다는 사실을 발견했습니다.

결론: 질문과 답변 및 요약 작업에서는R1 단계별 법적 추론의 '금광'과도 같은 자료입니다. 생성 단계에서 사용하면 거의 실망하지 않을 것입니다.

3. 엔지니어링은 여전히 중요합니다

큐 디자인

추론 능력이 뛰어나다고 해서 잘 설계된 단서 단어의 필요성이 없어지는 것은 아닙니다. 다음과 같은 경우 단서 단어에 대한 명시적인 안내가 필수적이라는 사실을 발견했습니다.

• (일부 개발) 기여 문서 참조 전체적으로 답변을 생성하세요.
• 환각 방지 "출처 인용 또는 모른다고 명시" 방식이 사용됩니다.
• 가독성을 높이기 위해 최종 답안 구조화하기 .

실험을 진행하는 동안 다음과 같은 단서를 구성했습니다:

你是一个帮助分析法律文件及相关内容的 AI 助手。在回复时，请遵循以下准则：
- 在提供的搜索结果中，每个文档的格式为 [Document X begin]...[Document X end]，其中 X 表示文档的编号。
- 使用 [citation:X] 形式的引用格式，其中 X 是文档编号，并将引用放在相关信息之后。
- 在整个回答中加入引用，而不仅仅是结尾处。
- 如果信息来自多个文档，请使用多个引用，例如 [citation:1][citation:2]。
- 不是所有搜索结果都相关——请评估并仅使用相关信息。
- 对于较长的回答，请将内容结构化，以段落或部分的形式呈现，以提高可读性。
- 如果在提供的文档中找不到答案，请直接说明，而不要编造信息。
- 一些文档可能是非正式讨论或 Reddit 帖子——请根据内容调整解读方式。
- 让回答尽可能多地包含引用。
首先，在 <think> 标签中解释你的思维过程。
然后，在思维过程之后提供最终答案。

문서 청크

또한 다음과 같은 사실을 발견했습니다. 정확한 문서 검색을 위해서는 효과적인 문서 청크가 필수적입니다.. 문서를 청크화하면 각 임베딩이 특정 주제를 더 정확하게 표현하고 각 임베딩 생성에 필요한 시간을 줄이는 데 도움이 됩니다. 토큰 수량.

저희는 문장 기반 분할(NLTK를 통한)을 사용하여 문서를 청크화합니다. 또한 각 청크의 시작과 끝에는 인접한 청크와 겹치는 콘텐츠가 포함됩니다. 이렇게 하면 모델이 전체적인 맥락을 잃지 않고 부분적인 참조를 더 잘 이해할 수 있습니다. 아래는 문서 청크에 사용되는 코드입니다:

def chunk_document(document, chunk_size=2048, overlap=512):
"""使用基于句子的分割方法将文档拆分为重叠的块。"""
text = document['text']
chunks = []
# 先按句子分割
sentences = nltk.sent_tokenize(text)
current_chunk = []
current_length = 0
for sentence in sentences:
sentence_len = len(sentence)
# 如果加入此句子后会超出块大小，则保存当前块
if current_length + sentence_len > chunk_size and current_chunk:
chunk_text = ' '.join(current_chunk)
chunks.append({
'id': document['id'],
'name': document['name'],
'content': document['text'],
'chunk_start': len(' '.join(current_chunk[:-(2 if overlap > 0 else 0)])) if overlap > 0 else 0,
# 其他元数据字段...
})
# 保留最后几句话作为重叠部分
overlap_text = ' '.join(current_chunk[-2:])  # 保留最后 2 句
current_chunk = [overlap_text] if overlap > 0 else []
current_length = len(overlap_text) if overlap > 0 else 0
current_chunk.append(sentence)
current_length += sentence_len + 1  # +1 代表空格

핵심 사항 요약:

1. 문자 기반 분할이 아닌 문장 기반 토큰 분할에는 NLTK를 사용하세요.
2. 문서 컨텍스트는 블록 간에 겹치는 문장을 유지하여 유지됩니다.

4. 효율적이고 빠른 vLLM

법률 문서 데이터의 양이 방대하기 때문에 RAG용 임베딩을 생성하는 데 시간이 오래 걸릴 수 있습니다.

처음에 저희는 허깅페이스의 sentence_transformer먼저 Nvidia L4 GPU에서 실행했지만 일반적인 "CUDA 메모리 부족" 오류가 발생했습니다. 먼저 Nvidia L4 GPU에서 실행했지만 일반적인 "CUDA 메모리 부족" 오류가 발생했습니다. 그 후 Nvidia A100을 사용해 보니 sentence_transformer 전체 콘텐츠를 로드하려면 57GB의 DRAM이 필요합니다. Alibaba-NLP/gte-Qwen2-7B-instruct 모델.

우리는 다음과 같이 전환했습니다. vLLM처리량이 많고 메모리 효율이 높은 LLM 추론 및 서비스 엔진입니다.

vLLM을 사용하면 표준 Nvidia L4 GPU(~24GB DRAM)에서 모델을 실행할 수 있습니다. 이에 비해 L4는 A100보다 훨씬 저렴합니다. GCP에서 Nvidia L4는 시간당 약 $0.7인 반면 Nvidia A100은 시간당 최소 $2.9입니다.

Nvidia A100(80GB DRAM)에서 vLLM과 문장 변환기를 비교하면 다음과 같습니다. vLLM은 최대 5.5배 빠르게 Qwen2 임베딩을 생성합니다!.

10,000개의 법률 문서(총 15,000개의 청크)를 처리하는 경우:

• 표준 문장 변압기 처리 시간: 약 5.5시간
• vLLM 처리 시간: 약 1시간

다음은 vLLM에서 실행하는 데 사용됩니다. Alibaba-NLP/gte-Qwen2-7B-instruct 를 사용하여 임베디드 SkyPilot YAML 구성을 생성합니다:

name: compute-legal-embeddings
resources:
# vLLM 需要 ~24GB DRAM GPU，SentenceTransformer 需要 57GB
accelerators: {L4:1, A100:1} 
envs:
START_IDX: ${START_IDX}
END_IDX: ${END_IDX}
file_mounts:
/output:
name: my-bucket-for-embedding-output
mode: MOUNT
setup: |
pip install torch==2.5.1 vllm==0.6.6.post
...
envs: 
MODEL_NAME: "Alibaba-NLP/gte-Qwen2-7B-instruct"
run: |
python -m vllm.entrypoints.openai.api_server \
--host 0.0.0.0 \
--model $MODEL_NAME \
--max-model-len 3072 \
--task embed &
python scripts/compute_embeddings.py \
--start-idx $START_IDX \
--end-idx $END_IDX \
--chunk-size 2048 \
--chunk-overlap 512 \
--vllm-endpoint http://localhost:8000

5. 임베딩에 100시간 이상 걸리지 않도록 SkyPilot을 사용하여 병렬 처리하세요!

단일 L4 GPU에서 법률 문서 임베드를 생성하는 데 100시간이 걸립니다. 스팟 인스턴스를 활용하면 시간과 비용을 획기적으로 줄일 수 있습니다:

결과: 더 이상 임베드를 생성하기 위해 며칠을 기다릴 필요가 없습니다. 대규모 데이터 세트에도 불구하고 프로토타입에서 프로덕션으로 빠르게 이동하면서 작업을 동적으로 확장할 수 있습니다.

평결에 도달하기

구성 (STH 추상) DeepSeek R1 RAG 몇 가지 핵심 사항을 알아보세요:

1. Qwen2와 같은 특수 임베딩 모델로 검색 기능을 강화하세요.
2. R1의 추론 기능은 생성 단계에서 복잡한 법률 쿼리를 처리하는 데 활용됩니다.
3. (단서 단어) 엔지니어링은 여전히 인용을 제어하고 콘텐츠를 구성하는 데 핵심적인 역할을 합니다.
4. vLLM으로 추론 효율을 높여 속도를 크게 향상하세요.
5. 클라우드와 자체 인프라에서 AI 컴퓨팅을 확장하여 컴퓨팅 시간과 비용을 절감하세요.

더 자세히 알고 싶으신가요?

• RAG 구성 가이드:GitHub 리포지토리
• SkyPilot으로 AI 작업을 확장하세요:SkyPilot 문서

주의: RAG 시스템은 법률 조사 및 분석을 위한 강력한 도구이지만 자격을 갖춘 법률 전문가를 대신할 수는 없습니다. 그 결과를 법률 자문으로 간주해서는 안 됩니다.