La puntuación multidimensional positiva de ambas respuestas facilita la valoración de la mejor respuesta.

LangChain Hub #1 tipster en chino. Publicado hace más de un año y utilizado en la evaluación global de las puntuaciones combinadas de diferentes estrategias RAG. Traducido y adaptado para su uso en varios idiomas.

 

Utilizar la ayuda

Evalúe qué respuesta es mejor, suponiendo que ambas respuestas sean correctas. Evaluar qué respuestas son "probablemente" problemáticas si la diferencia en la puntuación compuesta es superior a 1. Para las respuestas con una alta probabilidad de ser correctas, es seguro sobrescribir la base de conocimientos.

Ámbitos de aplicación:

  1. Se utiliza para evaluar diferentes "pistas de pares de extracción de GC" y cuál de ellas es mejor.
  2. Sirve para evaluar si las respuestas de los alumnos (nueva estrategia GAR) son mejores cuando se utiliza la respuesta de referencia como respuesta estándar base

Las respuestas son absolutamente correctas, ricas en detalles, respuestas sucintas y un proceso de pensamiento completo.

 

Comandos chinos

你对学生提问,学生给出了答案,你要对参考答案和学生答案分别评分。
您必须根据相关度、完整度、语义清晰度和歧义度分别对两个答案进行评分。
最后给两个答案进行综合评分。
\n\n
提问:
"""
{question}
"""
\n\n
请对以下答案给出数字1~100之间评分:
\n\n
参考答案:
"""
{reference_answer}
"""
\n
学生答案:
"""
{student_answer}
"""
\n\n
为每个值赋予1~100之间评分,以JSON格式回复,不要其他解释:
```json
"参考答案": 
"相关度": 
"完整度": 
"语义清晰度": 
"歧义度: 
"综合评分":

"学生答案": 
"相关度": 
"完整度": 
"语义清晰度": 
"歧义度": 
"综合评分": 
```
© declaración de copyright

Artículos relacionados

Sin comentarios

Debe iniciar sesión para participar en los comentarios.
Acceder ahora
ninguno
Sin comentarios...