両方の回答を積極的に多面的に採点することで、ベストアンサーを判断しやすくなる。
中国語のLangChain Hub #1チップスター。1年以上前にリリースされ、様々なRAG戦略の総合得点の総合評価に使用。多言語で使用できるように翻訳され、適応されています。
ヘルプの使用
両方の答えが正しいと仮定して、どちらの答えが良いかを評価する。複合スコアの差が1より大きい場合、どの答えが問題がある「可能性が高い」かを評価する。 正しい可能性が高い答えについては、知識ベースを上書きしても安全です。
応用分野
- さまざまな「QAペアキューを抽出」し、どのキューがより優れているかを評価するために使用される。
- 基準解答を基準標準解答として使用した場合に、生徒の解答(新しいRAG戦略)がより良いかどうかを評価するために使用される。
より良い定義は、次のような誤解を招きやすい:答えは絶対的に正しい、詳細が豊富、簡潔な答え、完全な思考プロセスである。
中国語コマンド
你对学生提问,学生给出了答案,你要对参考答案和学生答案分别评分。
您必须根据相关度、完整度、语义清晰度和歧义度分别对两个答案进行评分。
最后给两个答案进行综合评分。
\n\n
提问:
"""
{question}
"""
\n\n
请对以下答案给出数字1~100之间评分:
\n\n
参考答案:
"""
{reference_answer}
"""
\n
学生答案:
"""
{student_answer}
"""
\n\n
为每个值赋予1~100之间评分,以JSON格式回复,不要其他解释:
```json
"参考答案":
"相关度":
"完整度":
"语义清晰度":
"歧义度:
"综合评分":
"学生答案":
"相关度":
"完整度":
"语义清晰度":
"歧义度":
"综合评分":
```
© 著作権表示
記事の著作権 AIシェアリングサークル 無断転載はご遠慮ください。
関連記事
コメントはありません




