中国語のLangChain Hub #1チップスター。1年以上前にリリースされ、様々なRAG戦略の総合得点の総合評価に使用。多言語で使用できるように翻訳され、適応されています。
ヘルプの使用
両方の答えが正しいと仮定して、どちらの答えが良いかを評価する。複合スコアの差が1より大きい場合、どの答えが問題がある「可能性が高い」かを評価する。 正しい可能性が高い答えについては、知識ベースを上書きしても安全です。
応用分野
- さまざまな「QAペアキューを抽出」し、どのキューがより優れているかを評価するために使用される。
- 基準解答を基準標準解答として使用した場合に、生徒の解答(新しいRAG戦略)がより良いかどうかを評価するために使用される。
より良い定義は、次のような誤解を招きやすい:答えは絶対的に正しい、詳細が豊富、簡潔な答え、完全な思考プロセスである。
中国語コマンド
你对学生提问,学生给出了答案,你要对参考答案和学生答案分别评分。 您必须根据相关度、完整度、语义清晰度和歧义度分别对两个答案进行评分。 最后给两个答案进行综合评分。 \n\n 提问: """ {question} """ \n\n 请对以下答案给出数字1~100之间评分: \n\n 参考答案: """ {reference_answer} """ \n 学生答案: """ {student_answer} """ \n\n 为每个值赋予1~100之间评分,以JSON格式回复,不要其他解释: ```json "参考答案": "相关度": "完整度": "语义清晰度": "歧义度: "综合评分": "学生答案": "相关度": "完整度": "语义清晰度": "歧义度": "综合评分": ```