ラガス：RAGリコールQA精度と回答の相関性を評価する

はじめに

Ragasは、RAG（Retrieval Augmented Generation）システムの評価と最適化のために特別に設計されたツールです。クエリ、検索コンテキスト、生成されたアンサー間の関係を分析することで、包括的な評価メトリクスのセットを提供します。Ragasは開発者がRAGシステムのパフォーマンスを評価し最適化することで、生成される回答が正確で関連性があり、検索されたコンテンツに基づいていることを保証します。新しいシステムを開発する場合でも、既存のシステムを最適化する場合でも、Ragasは強力なサポートを提供します。

機能一覧

• フィデリティ評価検索された文脈に対する、生成された回答の忠実度を測定します。
• 回答の妥当性の評価生成された答えと元のクエリとの関連性を評価する。
• 文脈との関連性評価検索された情報がどの程度問題に適合しているかを測定する。
• 文脈的想起評価検索されたコンテキストが質問に答えるために必要な情報をすべて含んでいるかどうかを評価する。
• 文脈の正確さ評価検索された関連するコンテキストの順序の品質を測定します。

ヘルプの使用

設置プロセス

1. PyPI経由でのインストール::

   pip install ragas

2. ソースからのインストール::

   pip install git+https://github.com/explodinggradients/ragas

クイックスタート

1. 必要なモジュールのインポート::

   from ragas import SingleTurnSample
from ragas.metrics import AspectCritic（アスペクトクリティック・インポート

2. テストデータの準備::

   test_data = {
"user_input": "summarise given textn同社は2024年第3四半期に、アジア市場での好調な業績が牽引し、8%の増益を報告した。 同地域の売上高は全体の成長に大きく貢献している。2024年第3四半期は、アジア市場の好調により8%の増収となった。 同地域の売上高は、全体的な成長に大きく貢献している。アジア市場における好調な傾向は今後も続くと予想される。 続ける 次の四半期へ", "response".
"response": "同社は2024年第3四半期に8%の増加を経験したが、これは主に効果的なマーケティング戦略と製品の適応によるもので、次の四半期も引き続き成長が期待される。来期も継続的な成長が期待される。"
}

3. RAGシステムの評価::

   evaluator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
metric = AspectCritic(name="summary_accuracy", llm=evaluator_llm, definition="要約が正確かどうかを検証する。")
await metric.single_turn_ascore(SingleTurnSample(**test_data))

詳細な機能操作の流れ

1. フィデリティ評価::
   • Ragasが提供する忠実度メトリクスを使用して、生成された回答が検索されたコンテキストに忠実であるかどうかを評価する。
   • 忠実度の評価結果は、対応する評価関数を呼び出すことで得られ、分析される。
2. 回答の妥当性の評価::
   • Ragasの回答関連度メトリクスを使用して、元のクエリに対する生成された回答の関連度を評価する。
   • 関連性評価パラメータを設定することで、生成された回答の関連性評価をカスタマイズできます。
3. 文脈との関連性評価::
   • Ragasの文脈関連性メトリクスを使用して、検索された情報がどれだけ問題に適合しているかを測定する。
   • 関連性評価関数を呼び出して、コンテキストの関連性評価結果を取得する。
4. 文脈的想起評価::
   • Ragasのコンテキスト想起メトリックを使用して、検索されたコンテキストに質問に答えるために必要なすべての情報が含まれているかどうかを評価します。
   • 想起評価パラメータを設定することにより、検索されたコンテキストが質問に必要な情報を完全にカバーしていることを確認します。
5. 文脈の正確さ評価::
   • Ragasのコンテキスト精度メトリクスを使用して、検索された関連するコンテキストの結果の順序付けの品質を測定する。
   • 精度評価パラメータを設定することで、検索結果のランキングを最適化します。

ラガ・アセスメント QAノート

QAリコールには通常2つの要素が含まれる：
1.レトリーバー - クエリに答えるために必要な最も関連性の高い情報を検索します。
2.ジェネレーター - 検索された情報を使って答えを生成する。

QAの精度を評価することは常に大きな問題であった。ルージュ(要約の自動評価パッケージそしてブルー(機械翻訳の自動評価方法）の効果は低い。

現在の方法論：強力なLLMを使った参照不要の評価。

Ragasは、QAパイプラインを評価するためにLLMを使用する際のこのような制限に対処するために設計されており、また、できるだけ少ない、より費用対効果の高い、より高速なアノテーションデータを使用して実用的なメトリクスを提供します。

Ragasは、QAパイプラインのさまざまな側面を評価するのに役立つフレームワークです。あなたのQAシステムの様々な側面を評価するための多くのメトリクスを提供します。

検索を評価するための指標： を提供し、検索システムのパフォーマンスの指標を提供する。
文脈の関連性
コンテキスト・リコール

作成された指標の評価： どちらが錯覚を測定し、どちらが質問に答える方法を測定するかを提供する。
ちゅうしん
解答の関連性

ちゅうしん

提示された文脈に照らして、生成された解答の事実上の正確さを測定する。

これは2つのステップで行われる。

まず、ある質問が与えられ、答えが生成されると、RagasはLLMを使って、生成された答えによってなされたステートメントを見つける。これにより、妥当性をチェックしなければならない文のリストが得られる。ステップ2では、ステートメントのリストとコンテキストが返され、RagasはLLMを使って、提供されたステートメントがコンテキストによってサポートされているかどうかをチェックする。正しい文の数が加算され、生成された答えの文の総数で割られ、与えられた例のスコアが得られます。

ステップ1：

最初のプロンプトによると

質問と答えが与えられたら、答えから1つ以上の文を作成しなさい。
問：アルベルト・アインシュタインとは何者か？
答え：彼はドイツ生まれの理論物理学者であり、史上最も偉大で最も影響力のある物理学者の一人であると広く認められている。 彼は相対性理論を発展させたことで最もよく知られているが、相対性理論の発展にも重要な貢献をした。彼は相対性理論を発展させたことで知られ、量子力学理論の発展にも重要な貢献をした。
彼はまた、量子力学の理論の発展にも重要な貢献をした。
アルベルト・アインシュタインはドイツ生まれ。
アルベルト・アインシュタインは相対性理論で最もよく知られている。
question:塩化カドミウムはこの化学物質に少し溶けるが、それはまた何と呼ばれるか？
answer:塩化カドミウムはこの化学物質に少し溶ける。
question:塩化カドミウムはこの化学薬品に少し溶ける、それはまた何と呼ばれるか？
塩化カドミウムはアルコールに少し溶ける。
答え：アロコール 記述：塩化カドミウムはアルコールに少し溶ける。 質問：シャフルとジティンは同じ国籍でしたか？
question:シャフルとジティンは同じ国籍でしたか？ answer:彼らは違う国の出身でした。
question:シャフルとジティンは同じ国籍でしたか？
シャフルとジティンは違う国の出身だった。
問：食事分析とは何ですか？
答え：食事分析とは、1週間に食べたものを詳細に分析し、摂取している栄養素の種類と量を調べることで、人々の食事摂取量を評価する方法である。特定の栄養素が不足していないか、また、食品中に砂糖、塩分、カフェイン、アルコール、食品添加物、保存料などの健康に有害な物質が含まれていないかを明らかにすることができます。食事分析は、脂肪、炭水化物、タンパク質、カロリーの摂取量を評価することができる。しかし、食事分析は、食品中の栄養素含有量のばらつき、個々の栄養素の必要量、栄養素の吸収と利用を十分に考慮していない。したがって、個人の正確な栄養状態を評価する最も正確な方法ではない可能性がある。
ステートメント

結果1が得られる：

[食事分析は、人々が摂取する食品を評価する方法である。,
食事分析は、人々が摂取する栄養素の種類と量を特定する』。,
食事分析は、人々が特定の栄養素が不足しているかどうかを明らかにすることができる。,
食事分析は、食品中に健康を害する物質があるかどうかを明らかにすることができる』。,
食事分析は、脂肪、炭水化物、タンパク質、カロリーの摂取量の評価を提供できる。,
食事分析は、個人の正確な栄養状態を評価する最も正確な方法ではないかもしれない。］

ステップ2：

2つ目のプロンプトによると

プロンプト：自然言語推論
与えられた文脈と以下の文を考え、それらが文脈に存在する情報によって裏付けられているかどうかを判断しなさい。評決に達する前に、それぞれの文について簡単な説明をしてください（はい/いいえ）。 評決(Yes/No)に至る前に、それぞれの文について簡単な説明をしなさい。 最後にそれぞれの文について、指定された形式で順番に最終的な評決を述べなさい。 指定された形式から逸脱しないようにしなさい。
指定された形式から逸脱しないでください。
ジョンはXYZ大学の学生である。 コンピューター 今学期は、データ構造、アルゴリズム、データベース管理など、いくつかのコースに在籍している。 ジョンは勤勉な学生で、かなりの時間を勉強と課題の完成に費やしている。彼は今学期、データ構造、アルゴリズム、データベース管理を含むいくつかのコースに在籍しています。 ジョンは勤勉な学生で、かなりの時間を勉強と課題の完成に費やしています。 彼はしばしば遅くまで図書館に残ってプロジェクトに取り組んでいます。
彼はよく遅くまで図書館に残ってプロジェクトに取り組んでいる。
1.ジョンは生物学を専攻している。
2.ジョンは人工知能のコースを取っている。
3.ジョンは熱心な学生である。
4.ジョンはアルバイトをしている。
5.コンピュータープログラミングに興味がある。
答え
1.ジョンは生物学を専攻している。 2.
解説：ジョンの専攻はコンピュータサイエンスと明記されている。 生物学を専攻していることを示唆する情報はない。
2.ジョンは人工知能のコースを取っています。
説明：文脈から、ジョンが現在受講しているコースが述べられており、人工知能については言及されていない。 したがって、これはありえない。解説：文脈にはジョンが現在履修しているコースがあり、人工知能は言及されていない。
3.ジョンは熱心な学生である。
説明：プロンプトには、ジョンがかなりの時間を勉強に費やし、課題をこなしていると書かれている。 さらに、ジョンがよく勉強することも書かれている。説明：このプロンプトでは、彼はかなりの時間を勉強と課題の完成に費やしていると書かれています。 さらに、彼はしばしば遅くまで図書館に残ってプロジェクトに取り組んでいると書かれており、これは献身的であることを暗示しています。
4.ジョンはアルバイトをしている。
解説：ジョンがアルバイトをしているという情報は文脈にはありません。 したがって、ジョンがアルバイトをしているとは推論できません。解説：文脈にはジョンがアルバイトをしているという情報はありません。
5.ジョンはコンピュータープログラミングに興味がある。
解説：文脈から、ジョンがコンピューターサイエンスの学位取得を目指していることがわかる。
それぞれの文に対する最終的な評決を順に述べよ。
いいえ。
あなたはどのレベルの健康を達成したいですか？自分の精神的・肉体的潜在能力を最大限に発揮したいのであれば、最適な栄養ニーズを見極めることは不可欠です。しかし、あなたの栄養ニーズが非常に具体的なものである場合、どのようにそれを発見するのでしょうか？1980年以来、私は人体の栄養ニーズを分析するためのシステムを開発し、改良してきました。このシステムは、10万人を対象にテストと検証が行われ、現在では世界中の臨床栄養学者によって使用されています。数え切れないほどの人々がこのシステムから恩恵を受けており、私はこのシステムからどのような結果が期待できるかを知っている。その結果とは、思考力、記憶力、スタミナ、体重管理、コレステロール値の低下、病状の改善などである。病状が悪化したと診断された人のほとんどは、パーソナル・ウェルネス・プログラムの恩恵を受けていますが、このウェルネス・プログラムは、治療ではなく予防を主な目的としています。治療を受けている場合は、この栄養補給プログラムが治療とうまく適合していることを確認してください。必要な栄養量に影響する要因 必要な栄養量に影響する要因は少なくとも8つあります。年齢、性別、運動量は一般的な影響因子ですが、公害、ストレス、遺伝的素因、過去の健康状態、そしてもちろん、食事から摂取する栄養素や抗栄養素はなかなか理解されません。しかし、これらすべての詳細とそれ以上のことを考慮しなければならない。これらの詳細は、食事分析、生化学分析、症状分析、生活習慣分析の4つの分析方法によって理解することができる。食事分析というアプローチは、人々がどのような食品を摂取しているかを把握することで、どのような栄養素が不足しているかを明らかにするという、始めやすいところから始めるように思われる。
しかし残念なことに、1週間にわたって食べたものを詳細に分析するだけでは、食品の栄養素含有量のばらつきや、その人が必要とする栄養素、栄養素が吸収されているかどうか、吸収された栄養素が効率よく利用されているかどうかなどは考慮されない。質の高い食事をしていても、ビタミン欠乏症の症状がある人をたくさん見てきた。このような人の大半は、栄養素の吸収不良が問題なのである。このような変数があるために、コンピューターによる食事分析の精度が、想定していたよりも低くなってしまうのである。食事分析は、砂糖、塩分、コーヒー、紅茶、アルコール、食品添加物、保存料など、人々の栄養所要量に影響を与えうる食品を評価するのに有用である。脂肪、炭水化物、タンパク質、カロリー摂取量など、その他の要素も食事分析で評価することができる。毛髪ミネラル分析やビタミン血中分析などの検査は、身体の生化学的状態に関する正確な情報を提供し、栄養アドバイザーが身体の正確な栄養状態を理解することを可能にします。しかし、これらの検査がすべて、栄養プログラムの立案に有用な情報を提供するわけではありません。このような情報を可能な限り正確に得るためには、 ビタミンやミネラルの検査は、栄養素が体内で機能す る能力を反映したものでなければなりません。例えば、鉄は血液中の赤血球を構成し、酸素を体内 に運搬するのに不可欠な元素である。細胞内の鉄の栄養状態を測定することで、鉄の必要量の目安を知ることができるかもしれません。一方、ビタミンCは鉄のように血流に直接関与することはない。主に脳内の5-ヒドロキシトリプタミンという化学物質や、ホモシステイン濃度を下げるメチル化反応に作用する。したがって、単に血中のビタミンB6を測定するだけでは、その栄養素が十分に摂取できているかどうか、体が正常に機能しているかどうかの真の指標にはならない。これに対して、ホモシステイン濃度のような検査は、より意味のあるものである。ビタミン、ビタミンB群、葉酸を十分に摂取していれば、ホモシステイン濃度は低いですが、もし高いのであれば、これらの栄養素の1つ以上をもっと摂取する必要があります。体の生化学反応の特定の機能が正常に働いているかどうかを正確に判定するため、私たちはこれを機能検査と呼んでいます。
という記述があります。
1.食事分析は、人々が摂取する食品を評価する方法である。
2.食事分析によって、人々が摂取する栄養素の種類と量を知ることができる。
3.食事分析は、人々が特定の栄養素を欠いているかどうかを明らかにすることができる。
4.食事分析は、食品中に健康を害する物質が含まれているかどうかを明らかにすることができる。
5.食事分析は、脂肪、炭水化物、タンパク質、カロリーの摂取量の評価を提供することができる。
6.食事分析は、個人の正確な栄養状態を評価する最も正確な方法ではないかもしれません。
答え

結果 2：

1.食事分析は、人々がどのような食物を摂取しているかを評価する方法である。説明：文脈上、食事分析は人々がどのような食物を摂取しているかを理解する方法であると述べられている。
説明：文脈から、食事分析は人々がどのような食品を消費しているかを理解する方法であることがわかる。
2.食事分析は、人々が摂取する栄養素の種類と量を決定することができる。説明：文脈は、食事分析は、人々がどのような食品を消費するかを理解するための方法であることに言及している。
説明：文脈では、食事分析は砂糖、塩分、コーヒー、お茶、アルコール、食品添加物、保存料などの栄養素の摂取量を評価できると述べている。説明：文脈では、食事分析は砂糖、塩分、コーヒー、お茶、アルコール、食品添加物、保存料などの栄養素の摂取量を評価することができると言及されている。
3.食事分析は、人々が特定の栄養素を欠いているかどうかを明らかにすることができる。
説明：文脈の中で、食事分析は人々の栄養ニーズに影響を与える栄養素の摂取量を評価するのに有用であると言及されている。これは、誰かが特定の栄養素が不足しているかどうかを明らかにできることを意味する。
4.食事分析は、食品中に健康に有害な物質があるかどうかを明らかにすることができる。
説明：文脈は、食事分析が人々の栄養ニーズに影響を与える可能性のある物質の摂取量を評価するのに有用であることに言及している。説明：文脈では、食事分析は、食品添加物や保存料などの人々の栄養ニーズに影響を与える可能性のある物質の摂取量を評価する際に有用であると言及している。
5.食事分析は、脂肪、炭水化物、タンパク質、カロリーの摂取量を評価することができる。
説明：文脈では、脂肪、炭水化物、タンパク質、カロリーなどの要素の摂取量は、食事分析によって評価できると述べられている。説明：文脈では、脂肪、炭水化物、タンパク質、カロリーなどの要素の摂取量は、食事分析を通じて評価することができると言及している。
6.食事分析は、個人の正確な栄養状態を評価する最も正確な方法ではないかもしれない。
説明：文脈は、食事分析は有用な情報を提供することができますが、それは個人の正確な栄養状態を評価するための最も正確な方法ではないかもしれないことに言及している。説明：文脈では、食事分析は有用な情報を提供することができるが、個人の正確な栄養状態を評価するための最も正確な方法ではないかもしれないことに言及している。
各ステートメントの最終評決を順番に：はい いいえ はい はい はい はい。

基礎最終的な評決は、陳述書ごとに順番に行われる。を探すはい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい、はい。

ポイントを数える：

output = "はい. いいえ. はい. はい. はい. はい. はい."
score = sum(0 if "yes" in answer else 1)
for answer in output.strip().split(".")
if answer ！= ""
)
# score = 1 - score/len(ステートメント)
socre = 1 - 1/6
#スコア = 0.83333333333334

これがFAITHFULNESSDの最終スコアだ。

解答の関連性

質問に対する回答の関連性と焦点を測る。

与えられた生成された答えに対して、RagasはLLMを使って、生成された答えが答えになる可能性のある質問を見つけ、実際の質問との類似性を計算します。

答えによると

与えられた答えに対する質問を生成します。
答え
PSLV-C56ミッションは、2023年7月30日（日）06:30 IST / 01:00 UTCに打ち上げられる予定であり、インド、アンドラ・プラデシュ州スリハリコタのサティシュ・ダワン宇宙センターから打ち上げられる。インド、アンドラ・プラデシュ州スリハリコタのサティシュ・ダワン宇宙センターから打ち上げられる。
質問：PSLV-C56ミッションの打ち上げ予定日時、打ち上げ場所はどこですか？
回答：食事分析とは、個人の食事の種類と量を評価する方法である。一週間の食事内容を詳細に分析することで、摂取している栄養素の種類や量を知ることができ、栄養素の不足や過剰を発見することができます。食事分析は、食品の栄養素含有量やその摂取量、栄養所要量に影響するいくつかの要因（砂糖、塩分、カフェイン、アルコールなど）を評価するのに有用である。しかし、食事分析は、個人の栄養所要量、栄養素の吸収および利用を考慮していないため、個人の栄養状態を評価する唯一の方法ではない。
質問

ゲットだ：

[

食事分析とは何か、個人の栄養摂取量を評価するためにどのように使用されるか", "食事分析とは何か、個人の栄養摂取量を評価するためにどのように使用されるか", "食事分析とは何か、個人の栄養摂取量を評価するためにどのように使用されるか?
"食事分析とは何か、そして個人の栄養摂取量を評価するためにどのように使用されるか？", "食事分析とは何か、そして個人の栄養摂取量を評価するためにどのように使用されるか？".
]

そして、[問題]とこれら3つの結果の類似度を計算する：

類似度計算プロセス：以下を使用テキスト埋め込み-ada-002ベクトル化を行い、余弦類似度を計算する。

def calculate_similarity(
self: t.Self, question: str, generated_questions: list[str].
).
question_vec = np.asarray(self.embedding.embed_query(question)).reshape(1, -1).
gen_question_vec = np.asarray(
self.embedding.embedding_documents(generated_questions)
)
ノルム = np.linalg.norm(gen_question_vec, axis=1) * np.linalg.norm(
question_vec, axis=1)
リターン(
np.dot(gen_question_vec, question_vec.T).reshape(-1,)/ norm
)

ゲットだ：

[0.83663467 0.83484782 0.83484782]

それなら平均的だ：

answer_relevancy_score: 0.8354434364200779

文脈の関連性

検索された文脈のS/N比を測定する。質問が与えられると、RagasはLLMを呼び出し、検索された文脈から質問に答えるために必要な文を探します。必要な文とコンテキスト内の全文との比率がスコアとなる。

インプット：

タスク：候補文の抽出。
設問と文脈が与えられたら、文脈から設問に答えるために必要な最小限の文を抽出する。 文脈が含まれていない場合質問と文脈が与えられたら、質問に答えるために必要な最小数の文を文脈から抽出しなさい。
質問：世界で最も有名な方程式はどれですか？
質問：世界で最も有名な方程式はどれですか？
アルベルト・アインシュタイン（Albert Einstein、1879年3月14日 - 1955年4月18日）はドイツ生まれの理論物理学者で[5]、史上最も偉大で最も影響力のある科学者の一人に広く数えられている。相対性理論を発展させたことで知られるが、量子力学にも重要な貢献をしており、量子力学革命の中心人物である。相対性理論を発展させたことで最もよく知られているが、量子力学にも重要な貢献をしており、20世紀の最初の数十年間に近代物理学が成し遂げた、自然に対する科学的理解の革命的再編成の中心人物であった。彼の質量エネルギー等価公式は、新しい物理学の発展の基礎となった。
相対性理論から生まれた彼の質量エネルギー等価公式E = mc2は、「世界で最も有名な方程式」と呼ばれている。
文：相対性理論から生まれた彼の質量エネルギー等価公式E = mc2は、「世界で最も有名な方程式」と呼ばれている。方程式」と呼ばれている。
question:スコット・デリクソンとエド・ウッドは同じ国籍でしたか？
質問：スコット・デリクソンとエド・ウッドは同じ国籍ですか？
スコット・デリクソン（1966年7月16日生まれ）は、アメリカの映画監督、脚本家、プロデューサー。シニスター』、『エミリー・ローズの悪魔祓い』、『DELIVER US FROM EVIL』などのホラー映画や、2016年のマーベル・シネマティック・ユニバース作品『ドクター・ストレンジ』の監督で知られる。タイラー・ベイツはアメリカのミュージシャン、音楽プロデューサー、映画、テレビ、ビデオゲームの作曲家。 アダム・コリスはアメリカの映画監督、俳優。アダム・コリスはアメリカの映画監督、俳優。コンラッド・ブルックスはアメリカの俳優。エドワード・デイヴィス・ウッド・ジュニア（1924年10月10日 - 1978年12月10日）は、アメリカの映画監督、俳優、脚本家、作曲家。エドワード・デイヴィス・ウッド・ジュニア（1924年10月10日 - 1978年12月10日）は、アメリカの映画監督、俳優、脚本家、プロデューサー、映画監督。
エドワード・デイヴィス・ウッド・ジュニア（Edward Davis Wood Jr. 1924年10月10日 - 1978年12月10日）は、アメリカの映画監督、俳優、脚本家、プロデューサー、映画監督。 文:スコット・デリクソン（Scott Derrickson、1966年7月16日生まれ）は、アメリカの監督、脚本家、プロデューサー。- エドワード・デイヴィス・ウッド・ジュニア（1924年10月10日）は、アメリカの映画監督、俳優、脚本家、プロデューサー、監督。
question:天安門事件では何人が殺されましたか？
文脈
天安門事件（てんあんもんじけん）とは、6・4事件とも呼ばれる1989年春に中国で起こった一連の抗議デモのこと。6月3～4日の夜、北京の天安門広場で政府がデモ隊を弾圧した。
文：候補となる文は見つかりませんでした。
question:食事分析とは何ですか？
文脈
question:あなたはどのような健康レベルを目指していますか？自分の精神的、肉体的な可能性を最大限に理解したいのであれば、最適な栄養ニーズを見極めることは不可欠です。しかし、あなたの栄養ニーズが非常に具体的である場合、どのようにそれを発見するのでしょうか？1980年以来、私は人体の栄養ニーズを分析するためのシステムを開発し、改良してきました。このシステムは、10万人を対象にテストと検証が行われ、現在では世界中の臨床栄養学者によって使用されています。数え切れないほどの人々がこのシステムから恩恵を受けており、私はこのシステムからどのような結果が期待できるかを知っている。その結果とは、思考力、記憶力、スタミナ、体重管理、コレステロール値の低下、病状の改善などである。病状が悪化したと診断された人のほとんどは、パーソナル・ウェルネス・プログラムの恩恵を受けていますが、このウェルネス・プログラムは、治療ではなく予防を主な目的としています。治療を受けている場合は、この栄養補給プログラムが治療とうまく適合していることを確認してください。必要な栄養量に影響する要因 必要な栄養量に影響する要因は少なくとも8つあります。年齢、性別、運動量は一般的な影響因子ですが、公害、ストレス、遺伝的素因、過去の健康状態、そしてもちろん、食事から摂取する栄養素や抗栄養素はなかなか理解されません。しかし、これらすべての詳細とそれ以上のことを考慮しなければならない。これらの詳細は、食事分析、生化学分析、症状分析、生活習慣分析の4つの分析方法によって理解することができる。食事分析というアプローチは、人々がどのような食品を摂取しているかを把握することで、どのような栄養素が不足しているかが明らかになるという、始めやすいところから始めるように思われる。
しかし残念なことに、1週間にわたって食べたものを詳細に分析するだけでは、食品の栄養素含有量のばらつきや、その人が必要とする栄養素、栄養素が吸収されているかどうか、吸収された栄養素が効率よく利用されているかどうかなどは考慮されない。質の高い食事をしていても、ビタミン欠乏症の症状がある人をたくさん見てきた。このような人の大半は、栄養素の吸収不良が問題なのである。このような変数があるために、コンピューターによる食事分析の精度が、想定していたよりも低くなってしまうのである。食事分析は、砂糖、塩分、コーヒー、紅茶、アルコール、食品添加物、保存料など、人々の栄養所要量に影響を与えうる食品を評価するのに有用である。脂肪、炭水化物、タンパク質、カロリー摂取量など、その他の要素も食事分析で評価することができる。毛髪ミネラル分析やビタミン血中分析などの検査は、身体の生化学的状態に関する正確な情報を提供し、栄養アドバイザーが身体の正確な栄養状態を理解することを可能にします。しかし、これらの検査がすべて、栄養プログラムの立案に有用な情報を提供するわけではありません。このような情報を可能な限り正確に得るためには、 ビタミンやミネラルの検査は、栄養素が体内で機能す る能力を反映したものでなければなりません。例えば、鉄は血液中の赤血球を構成し、酸素を体内 に運搬するのに不可欠な元素である。細胞内の鉄の栄養状態を測定することで、鉄の必要量の目安を知ることができるかもしれません。一方、ビタミンCは鉄のように血流に直接関与することはない。主に脳内の5-ヒドロキシトリプタミンという化学物質や、ホモシステイン濃度を下げるメチル化反応に作用する。したがって、単に血中のビタミンB6を測定するだけでは、その栄養素が十分に摂取できているかどうか、体が正常に機能しているかどうかの真の指標にはならない。これに対して、ホモシステイン濃度のような検査は、より意味のあるものである。ビタミン、ビタミンB群、葉酸を十分に摂取していれば、ホモシステイン濃度は低いですが、もし高いのであれば、これらの栄養素の1つ以上をもっと摂取する必要があります。体の生化学反応の特定の機能が正常に働いているかどうかを正確に判定するため、私たちはこれを機能検査と呼んでいます。
文章

ゲットだ：

[
このような食事分析は、人々がどのような食品を摂取しているかを把握することで、どのような栄養素が不足しているかを明らかにするという、始めやすいところから始めるようだ』。,
食事分析は簡単に始められるところから始める：人々が何を食べているかを把握することで、どの栄養素が不足しているかがわかる。
]

各結果を分割し、文脈を調べ、各結果の分割された句の何パーセントが原文に現れるかを見る overlap_scores.
とすると、次のようになる。[1.0, 1.0].

コンテキスト

あなたはどのようなレベルの健康を手に入れたいですか？自分の精神的、肉体的な潜在能力を最大限に引き出したいのであれば、最適な栄養ニーズを見極めることが不可欠です。しかし、あなたの栄養ニーズが非常に具体的である場合、どのようにそれを発見するのでしょうか？1980年以来、私は個人の栄養ニーズに影響を与える主な要因の評価に基づいて、人体の栄養ニーズを分析するためのシステムを開発し、改良してきました。このシステムは10万人を対象にテスト・検証され、現在では世界中の臨床栄養士によって使用されています。数え切れないほどの人々がこのシステムから恩恵を受けており、私はこのシステムからどのような結果が期待できるかを知っている。その結果とは、思考力、記憶力、スタミナ、体重管理、コレステロール値の低下、病状の改善などである。病状が悪化したと診断された人のほとんどは、パーソナル・ウェルネス・プログラムの恩恵を受けていますが、このウェルネス・プログラムは、治療ではなく予防を主な目的としています。治療を受けている場合は、この栄養補給プログラムが治療とうまく適合していることを確認してください。必要な栄養量に影響する要因 必要な栄養量に影響する要因は少なくとも8つあります。年齢、性別、運動量は一般的な影響因子ですが、公害、ストレス、遺伝的素因、過去の健康状態、そしてもちろん、食事から摂取する栄養素や抗栄養素はなかなか理解されません。しかし、これらすべての詳細とそれ以上のことを考慮しなければならない。これらの詳細は、食事分析、生化学分析、症状分析、生活習慣分析の4つの分析方法によって理解することができる。食事分析というアプローチは、人々がどのような食品を摂取しているかを把握することで、どのような栄養素が不足しているかを明らかにするという、始めやすいところから始めるように思われる。
しかし残念なことに、1週間にわたって食べたものを詳細に分析するだけでは、食品の栄養素含有量のばらつきや、その人が必要とする栄養素、栄養素が吸収されているかどうか、吸収された栄養素が効率よく利用されているかどうかなどは考慮されない。質の高い食事をしていても、ビタミン欠乏症の症状がある人をたくさん見てきた。このような人の大半は、栄養素の吸収不良が問題なのである。このような変数があるために、コンピューターによる食事分析の精度が、想定していたよりも低くなってしまうのである。食事分析は、砂糖、塩分、コーヒー、紅茶、アルコール、食品添加物、保存料など、人々の栄養所要量に影響を与えうる食品を評価するのに有用である。脂肪、炭水化物、タンパク質、カロリー摂取量など、その他の要素も食事分析で評価することができる。毛髪ミネラル分析やビタミン血中分析などの検査は、身体の生化学的状態に関する正確な情報を提供し、栄養アドバイザーが身体の正確な栄養状態を理解することを可能にします。しかし、これらの検査がすべて、栄養プログラムの立案に有用な情報を提供するわけではありません。このような情報を可能な限り正確に得るためには、 ビタミンやミネラルの検査は、栄養素が体内で機能す る能力を反映したものでなければなりません。例えば、鉄は血液中の赤血球を構成し、酸素を体内 に運搬するのに不可欠な元素である。細胞内の鉄の栄養状態を測定することで、鉄の必要量の目安を知ることができるかもしれません。一方、ビタミンCは鉄のように血流に直接関与することはない。主に脳内の5-ヒドロキシトリプタミンという化学物質や、ホモシステイン濃度を下げるメチル化反応に作用する。したがって、単に血中のビタミンB6を測定するだけでは、その栄養素が十分に摂取できているかどうか、体が正常に機能しているかどうかの真の指標にはならない。これに対して、ホモシステイン濃度のような検査は、より意味のあるものである。ビタミン、ビタミンB群、葉酸を十分に摂取していれば、ホモシステイン濃度は低いが、高ければ、これらの栄養素の1つ以上をもっと摂取する必要がある。この種の検査は、身体の生化学的反応の特定の機能が正常に働いているかどうかを正確に判定するため、私たちは機能検査と呼んでいます。

2つの答えの類似性は、agr_scoreを得るためにbertまたはjaccardを使用して計算されます。
そして、context_relevancyを計算することができる：

コンテキスト関連度 = agr_score * (重複スコアの平均)

コンテキスト・リコール

これをテストする前に真実.
プロンプトに従ってください：

文脈と解答が与えられたら、解答の各文を分析し、その文が与えられた文脈に帰することができるかどうかを分類する。
ステップを踏んで考え、推論してから結論を出しなさい。
文脈：アルベルト・アインシュタイン（Albert Einstein、1879年3月14日 - 1955年4月18日）はドイツ生まれの理論物理学者である。相対性理論を発展させたことで最もよく知られているが、量子力学にも重要な貢献をしており、相対性理論の中心人物でもある。相対性理論を発展させたことで最もよく知られているが、彼は量子力学にも重要な貢献をしており、したがって20世紀の最初の数十年間に現代物理学が成し遂げた、自然に対する科学的理解の革命的な再形成の中心人物であった。相対性理論から生まれた質量とエネルギーの等価式E = mc2は、「世界で最も有名な方程式」と呼ばれている。相対性理論から生まれたE = mc2は「世界で最も有名な方程式」と呼ばれている。 1921年ノーベル物理学賞受賞。「理論物理学への貢献、特に光電効果の法則の発見」。理論物理学への貢献、特に量子論の発展における重要な一歩である光電効果の法則の発見により、1921年ノーベル物理学賞を受賞。 彼の業績は科学哲学への影響でも知られている。1999年、英科学誌『フィジックス・ワールド』が世界の主要物理学者130人を対象に行った世論調査では、アインシュタインが史上最高の物理学者としてランク付けされた。その知的業績と独創性により、アインシュタインは天才の代名詞となっている。
答え：1879年3月14日生まれのアルベルト・アインシュタインはドイツ生まれの理論物理学者で、史上最も偉大で最も影響力のある科学者の一人として広く知られている。1905年に4つの論文を発表。1895年、スイスに移住
アインシュタインは1895年にスイスに移住した。
1.アルベルト・アインシュタイン 1879年3月14日生まれ ドイツ生まれの理論物理学者。アインシュタインの生年月日は文脈の中で明確に言及されている。
2.彼は1921年に「理論物理学への貢献により」ノーベル物理学賞を受賞した。 3.与えられた文脈の中に正確な文が存在する。正確な文は与えられた文脈の中に存在する。］
3.彼は1905年に4つの論文を発表した。 文脈からすると、彼が書いた論文についての言及はない。
4.アインシュタインは1895年にスイスに移り住んだ。 与えられた文脈の中に、これを裏付ける証拠はない。
answer:{ground_truth} アインシュタインは1895年にスイスに移住した。
answer:{ground_truth} アインシュタインは1895年にスイスに移住した。
だから [Not Attributed] context:{context} answer:{ground_truth} アインシュタインは1895年にスイスに移住した。

結果を出す：

[
'####################[Attributed]',
'######################[Attributed]',
'########################[Not Attributed]',
......
]

Attributed]出現のうち、context_recallである割合を計算する。

個人的な見解だ：

このライブラリについて：openaiへのAuzreアクセスに対応していないため、ソースコードを変更する必要がある。

つの指標について

context_relevancy: doubtful (agr_score の類似度を計算する際のモデル stsb-TinyBERT-L-4 Chinese の有効性についての不確実性)
context_recall：これは、どのシナリオを使用するかわからない......。
誠実さ。
answer_relevancy：信頼できる可能性が高い。テキスト埋め込み-ada-002(ベクトル化後のセマンティクスの精度）