ディープシーク R1はその最初のリリースで強力な推論能力を示した。このブログポストでは、R1の推論機能の詳細を紹介する。 ディープシークR1 法律文書を専門とするRAG（Retrieval-Augmented Generation）システムの構築経験。

私たちがLegal Documentsを選んだ理由は、法律専門家がしばしば、膨大な数の判例、法令、法律評論の中から検索するという困難な作業に直面するからです。どんなに注意深くリサーチを行っても、内容を正確に要約することはおろか、適切な文書を見つけることさえ難しいのです。そこで ラグ あなたが大きな変化をもたらすことができる分野（ハーヴェイのAIも参照）。

DeepSeek R1とQwen2を埋め込みモデルとして使用し、大規模な法的文書データセットに基づいてRAGを構築した。RAG構築プロセス全体をオープンソース化した。 ブイエルエルエム 歌で応える スカイパイロット 何がうまくいき、何がうまくいかないのか。

自分で体験してみたい🔥？ オンラインデモをお試しください：ここをクリック.

このRAGビルド・プロセスをオープンソース化しました。 こちらをクリック.私たちがどのように組み合わせているのか、自由に探ってみてください。 vLLM + スカイパイロット 高速で安定したスケーラブルなパフォーマンスを実現します。

なぜ法的文書にRAGを付けるのか？

Retrieval Augmentation Generation (RAG)は、正確性とトレーサビリティが最重要視される法律などの分野で極めて重要です。特殊なレトリーバーと強力な大規模言語モデル（LLM）ジェネレーターを組み合わせることで、最適な結果を得ることができます：

1. 関連性の高い文書の取り出す
2. 推理力のある文章生成
3. 直接参照幻覚の減少

このRAGを構築するために、我々は以下のものを使用した：

• 掟の山 データセットのサブセット（法律相談に焦点を当てたもの）；
• クロマDB エンベッディングの保存とクエリのためのベクトルリポジトリとして機能する；
• クウェン2 検索埋め込みモデルとして
• ディープシークR1 最終的な答えとしてモデルを作成する。

システム全体は ブイエルエルエム を通過させることができる。 スカイパイロット あらゆるクラウドにシームレスにデプロイし、最適なGPUの可用性と費用対効果を確保します。オープンソースのRAGビルドプロセスの全容はこちらからご覧いただけます。

貴重な経験：注意と禁忌

1.DeepSeek R1を検索に使用しないでください。

(躊躇なく ディープシークR1 は優れた推理力を持つが不適切エンベッドを生成するために - 少なくとも今のところは。

我々は、特殊なエンベッディング・モデルを使うことで アリババNLP/gte-Qwen2-7B-インストラクト(現在MTEBに在籍） ヒットチャート (最高ランクの埋め込みモデル)とDeepSeek R1で生成された埋め込みを比較。

これら2つのモデルそれぞれを用いて、データセットに対する埋め込みを生成し、2つのベクトルデータベースを構築する。そして、同じクエリを両方のモデルに使用し、それぞれのベクトルデータベースにおいて最も類似した埋め込み上位5つを検索する。

お問い合わせ 少額訴訟の呼出状が届きました。

なぜ違いが生まれるのか？

上の表では、DeepSeek R1 の検索結果が大幅に悪化しています。これはなぜでしょうか?

DeepSeek R1のアーキテクチャは主に推論に重点を置いており、順序的思考と論理的接続を重視しています。つまり、DeepSeek R1 はドキュメントを意味空間にマッピングしません。

対照的に、Qwen2変異体(GTE-QWEN2-7B-インストラクション) 意味類似性タスクに特化したトレーニングこれは、特定の文言に関係なく、概念的に類似した文書が緊密にクラスタリングされた高次元空間を作成することができます。

この学習アプローチの違いは、Qwen2がクエリの意図をうまく捉えているのに対し、DeepSeek R1は、テーマ的には関連性があるが、実際には無関係な検索結果を導く推論パスをたどることがあることを意味する。

DeepSeek R1は、埋め込み用に微調整されていない限り、RAGの検索埋め込みモデルとして使用すべきではありません。

2.R1との世代：印象的な推理力

(躊躇なく R1 埋め込みには若干の困難があるが、我々はそれを見つけることができた。 生成 その能力は注目に値する。R1の思考連鎖アプローチを活用することで、我々は観察した：

• より強い一貫性： このモデルは、複数の文書から情報を合成し、関連する箇所を明確に参照することができる。
• 幻覚の減少： R1 「自分自身」の内部で推論し、それぞれの結論をデータで検証する。

いくつかの例を見てみよう：

例1：リースの解約

質問だ： 賃貸契約を解除したいのですが、家主が許可してくれません。

例2：少額裁判所

質問だ。 係争中の債務について少額訴訟の呼出状が届きました。どのように準備すればよいでしょうか？

これらの例から、DeepSeek R1 には優れた推論能力があることがわかります。その思考プロセスは、ソースとなる法的文書からどのように結論を導き出すことができるかを明確に示しています：

• R1はまず コヒーレントモデル それは、その詳細な推論プロセスに反映されている：まず、早期契約解除の罰金について覚えていることがあるのだが......。 資料1には......。 この「検索前の推論」アプローチにより、モデルは検索前に複数のソースからの概念を体系的に結びつけることができる。
• リースの解約や少額訴訟のような複雑なシナリオに対処する場合、R1は、次のように考えている。 幻覚はない。 各文書に対する理解を明示的に整理するのではなく (それを総合すると......。).
• 最後に、ジェネレーターは、結論と出典をリンクする正確な参照を使用して、その推論を説明します。これによって、質問から推論、回答への明確な連鎖が保証され、厳密性とアクセシビリティが保証される。

様々な法的クエリを試した結果、このモデルはソース文書から情報を抽出できるだけでなく、その内容を学習し推論することができることがわかった。

結論 質疑応答と要約のタスクではR1 段階的な法的推論の「金鉱」である。作成段階でこれを使えば、失望することはほとんどないだろう。

3.エンジニアリングは依然として重要

キューのデザイン

高度な推理力があるからといって、うまく設計されたキュー・ワードの必要性がなくなるわけではない。手がかりとなる言葉による明示的な指導は、次のような場合に不可欠であることがわかった。

• 駆り立てる 文書参照 全体を通して答えを出す。
• 幻覚の防止 出典を挙げるか、知らないと述べるか」というやり方だ。
• 最終的な回答を読みやすくするための構成 .

実験では、以下のような手がかりとなる単語を作った：

あなたは、法律文書や関連コンテンツの分析を支援するAIアシスタントです。回答する際は、以下のガイドラインに従ってください：
- 提供される検索結果では、各文書は [Document X begin]... [Document X end] のようにフォーマットされています。[ここでXは文書番号です。
- 引用は[citation:X]（Xは文書番号）の形式で行い、関連情報の後に引用を記述してください。
- 引用は末尾だけでなく、回答全体を通して行いましょう。
- 情報が複数の文書からのものである場合は、[citation:1][citation:2]のように複数の引用を使用してください。
- すべての検索結果が関連するわけではありません。関連する情報だけを評価し、使用してください。
- 長い回答の場合、読みやすくするために、段落やセクションで内容を構成してください。
- 提供された文書に答えが見つからない場合は、情報をでっち上げるのではなく、直接記述してください。
- ドキュメントの中には、非公式なディスカッションやRedditへの投稿が含まれている場合があります。
- 回答にはできるだけ多くの引用を含めてください。
まず、タグであなたの思考プロセスを説明してください。
そして、思考プロセスの後に最終的な答えを述べてください。

ドキュメントのチャンキング

加えて、我々は次のことを発見した。 正確な文書検索には効果的な文書チャンキングが不可欠.文書をチャンキングすることで、各埋め込みが特定のトピックをより正確に表現できるようになり、各埋め込み生成に必要な時間が短縮されます。 トークン 数量。

NLTKによる）センテンスベースのセグメンテーションを使って、ドキュメントをチャンクする。また、各チャンクの先頭と末尾には、隣接するチャンクと重複するコンテンツが含まれる。これにより、全体的な文脈を失うことなく、モデルが部分的な参照をより理解しやすくなる。以下は、ドキュメントのチャンキングに使用されるコードである：

def chunk_document(document, chunk_size=2048, overlap=512).
"""文ベースの分割を使用して、ドキュメントを重複するチャンクに分割する。""""
text = document['text'].
チャンク = []"
# 最初に文単位で分割
文 = nltk.sent_tokenise(text)
カレントチャンク = [] (現在のチャンク)
現在の長さ = 0
for sentence in sentences: sentence_len = len(sentence)
sentence_len = len(sentence)
# この文を追加するとチャンクのサイズを超える場合は、現在のチャンクを保存する
if current_length + sentence_len > chunk_size and current_chunk.
chunk_text = '.join(current_chunk)
chunks.append({
'id': document['id']、
'name': document['name']、
'content': document['text']、
'chunk_start': len(' '.join(current_chunk[:-(2 if overlap > 0 else 0)]) if overlap > 0 else 0、
# その他のメタデータフィールド...
})
# 最後の数文をオーバーラップとして保持する
overlap_text = '.join(current_chunk[-2:]) # 最後の2文を保持する
current_chunk = [overlap_text] if overlap > 0 else [].
カレント_レングス = len(overlap_text) if オーバーラップ > 0 else 0
current_chunk.append(文)
current_length += sentence_len + 1 # +1 for space

要点のまとめ

1. 文字ベースの分割ではなく、文ベースのトークン分割にNLTKを使用してください。
2. ドキュメントのコンテキストは、ブロック間で重複するセンテンスを保持することによって維持される。

4. vLLMは効率的で速い。

法律文書データは膨大な量であるため、RAG用の埋め込みデータを生成するには長い時間がかかる。

当初はHuggingFaceの センテンス・トランスフォーマー最初にNvidia L4 GPUで実行しましたが、いつもの「CUDAメモリ不足」エラーに遭遇しました。最初にNvidia L4 GPUで実行しましたが、いつもの「CUDAメモリ不足」エラーに遭遇しました。その後、Nvidia A100を試してみたところ センテンス・トランスフォーマー を完全にロードするには57GBのDRAMが必要である。 アリババNLP/gte-Qwen2-7B-インストラクト モデル

に切り替えた。 ブイエルエルエムこれは、高スループットでメモリ効率の良いLLM推論およびサービスエンジンである。

vLLMでは、標準的なNvidia L4 GPU（~24GB DRAM）でモデルを実行できます。GCPでは、Nvidia L4は約$0.7/時間ですが、Nvidia A100は少なくとも$2.9/時間です。

Nvidia A100（80GB DRAM）でvLLMとセンテンストランスを比較すると、以下のことがわかります。 vLLMはQwen2の埋め込みを最大5.5倍高速に生成する！.

10,000の法的文書（合計15,000チャンク）を処理する場合：

• 標準文 変流器 処理時間：約5.5時間
• vLLM処理時間：約1時間

以下はvLLM上で実行される。 アリババNLP/gte-Qwen2-7B-インストラクト をクリックして、組み込みSkyPilotのYAML設定を生成します：

name: compute-legal-embeddings
リソース
# vLLMは~24GB DRAM GPUを必要とし、SentenceTransformerは57GBを必要とします。
アクセラレータ：{L4:1, A100:1}
envs.
start_idx: ${start_idx}.
end_idx: ${end_idx}.
file_mounts.
/output.
名前: my-bucket-for-embedding-output。
モード: MOUNT
セットアップ: |pip install torch==2.5
pip install torch==2.5.1 vllm==0.6.6.post
...
envs.
MODEL_NAME: "Alibaba-NLP/gte-Qwen2-7B-instruct"
実行: |.
python -m vllm.entrypoints.openai.api_server  \.
--ホスト 0.0.0.0
--model $MODEL_NAME  \
-max-model-len 3072  \
---タスク embed &
python scripts/compute_embeddings.py ￤スタートIDX
--start-idx $START_IDX ୧-͈ᴗ-͈ᴗ
--end-idx $END_IDX ୧-͈ᴗ-͈ᴗ
--chunk-size 2048
--chunk-overlap 512  \
--vllm-endpoint http://localhost:8000

5.エンベデッドに100時間以上かけさせない - 並列処理にSkyPilotを使う！

1つのL4 GPUで法的文書のエンベッドを生成するのに100時間かかります。スポット・インスタンスを活用することで、時間とコストを劇的に削減できます：

結果 エンベッドを生成するのに何日も待つ必要はもうない。私たちのタスクはダイナミックに拡張でき、大規模なデータセットに直面しても、プロトタイプからプロダクションへと迅速に移行することができます。

評決を下す

造る ディープシーク R1 RAG いくつかのポイントを学ぼう：

1. Qwen2のような特殊な埋め込みモデルで検索能力を強化する。
2. R1の推論機能は、複雑な法的クエリを処理するために生成段階で利用される。
3. (キュー・ワード）エンジニアリングは、引用を制御し、コンテンツを構造化するための鍵であり続ける。
4. vLLMで推論効率を高め、大幅なスピードアップを実現。
5. AIコンピューティングをクラウドや自社インフラで拡張し、計算時間とコストを削減。

もっと知りたい？

• RAGコンストラクションガイドGitHubレポ
• SkyPilotでAIタスクを拡張：スカイパイロットの資料

注目してほしい： RAGシステムは、法的調査および分析のための強力なツールですが、有資格の法律専門家に代わるものではありません。その出力は法的助言とみなされるべきではありません。