Ragas: avaliando a precisão do RAG recall QA e a correlação de respostas

Introdução geral

O Ragas é uma ferramenta projetada especificamente para avaliar e otimizar os sistemas RAG (Retrieval Augmented Generation). Ele fornece um conjunto abrangente de métricas de avaliação, analisando a relação entre a consulta, o contexto de recuperação e as respostas geradas. Essas métricas incluem fidelidade, relevância da resposta, relevância contextual, recuperação contextual e precisão contextual. O Ragas ajuda os desenvolvedores a avaliar e otimizar o desempenho dos sistemas RAG para garantir que as respostas geradas sejam precisas, relevantes e baseadas no conteúdo recuperado. Independentemente de você estar desenvolvendo um novo sistema ou otimizando um sistema existente, o Ragas oferece um suporte poderoso.

Lista de funções

• Avaliação da fidelidadeResposta gerada: mede a fidelidade da resposta gerada ao contexto recuperado.
• Avaliação da relevância da respostaAvalie a relevância da resposta gerada para a consulta original.
• Avaliação da relevância contextualMedir a adequação das informações recuperadas ao problema.
• Avaliação de recordação contextualAvalie se o contexto recuperado contém todas as informações necessárias para responder à pergunta.
• Avaliação da precisão contextualOrdem dos contextos relevantes recuperados: mede a qualidade da ordem dos contextos relevantes recuperados nos resultados.

Usando a Ajuda

Processo de instalação

1. Instalação via PyPI::

   pip install ragas

2. Instalação a partir da fonte::

   pip install git+https://github.com/explodinggradients/ragas

Início rápido

1. Importação dos módulos necessários::

   from ragas import SingleTurnSample
from ragas.metrics import AspectCritic

2. Preparação de dados de teste::

   test_data = {
"user_input": "summarise given text\nA empresa relatou um aumento de 8% no 3º trimestre de 2024, impulsionado pelo forte desempenho no mercado asiático. As vendas nessa região contribuíram significativamente para o crescimento geral. A empresa relatou um aumento de 8% no 3º trimestre de 2024, impulsionado pelo forte desempenho no mercado asiático. As vendas nessa região contribuíram significativamente para o crescimento geral. Espera-se que a tendência positiva no mercado asiático seja continuar no próximo trimestre.", "resposta".
"response": "A empresa teve um aumento de 8% no terceiro trimestre de 2024, em grande parte devido a estratégias de marketing eficazes e adaptação de produtos, com expectativas de crescimento contínuo no próximo trimestre."
}

3. Avaliação do sistema RAG::

   evaluator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
metric = AspectCritic(name="summary_accuracy", llm=evaluator_llm, definition="Verificar se o resumo é preciso.")
await metric.single_turn_ascore(SingleTurnSample(**test_data))

Fluxo de operação detalhado da função

1. Avaliação da fidelidade::
   • Usando as métricas de fidelidade fornecidas pelo Ragas, as respostas geradas são avaliadas quanto à sua fidelidade ao contexto recuperado.
   • Os resultados da avaliação de fidelidade são obtidos e analisados chamando as funções de avaliação correspondentes.
2. Avaliação da relevância da resposta::
   • Usando a métrica de relevância de resposta de Ragas, o grau de relevância das respostas geradas para a consulta original é avaliado.
   • Personalize a avaliação da relevância das respostas geradas configurando os parâmetros de avaliação de relevância.
3. Avaliação da relevância contextual::
   • Use as métricas de relevância contextual de Ragas para medir a adequação das informações recuperadas ao problema.
   • Obtenha o resultado da avaliação de relevância do contexto chamando a função de avaliação de relevância.
4. Avaliação de recordação contextual::
   • Use a métrica de recuperação de contexto de Ragas para avaliar se o contexto recuperado contém todas as informações necessárias para responder à pergunta.
   • Certifique-se de que o contexto recuperado cubra totalmente as informações necessárias para a pergunta, definindo os parâmetros de avaliação de recuperação.
5. Avaliação da precisão contextual::
   • Use as métricas de precisão contextual de Ragas para medir a qualidade da ordenação dos contextos relevantes recuperados nos resultados.
   • Otimize a classificação dos resultados de recuperação configurando os parâmetros de avaliação de precisão.

Avaliação de Ragas Notas de QA

Os recalls de controle de qualidade geralmente contêm dois componentes:
1. recuperador - recupera as informações mais relevantes necessárias para responder a uma consulta.
2. gerador - Use as informações recuperadas para gerar respostas.

Avaliar a precisão do controle de qualidade sempre foi um grande problema.ROUGE(Um pacote para avaliação automática de resumoseAZUL(um método de avaliação automática da tradução automática) é menos eficaz.

Metodologia atual: avaliação sem referências usando um poderoso LLM, portanto, converse mais de perto sobre Ragas.

O Ragas foi projetado para lidar com essas limitações do uso do LLM para avaliar seu pipeline de controle de qualidade e, ao mesmo tempo, fornecer métricas acionáveis usando o mínimo possível de dados anotados, mais econômicos e mais rápidos.

O Ragas é uma estrutura que ajuda a avaliar esses diferentes aspectos do seu pipeline de controle de qualidade. Ele fornece uma série de métricas para avaliar diferentes aspectos do seu sistema de controle de qualidade.

Indicadores usados para avaliar a recuperação: oferece e fornece a você uma medida do desempenho do sistema de recuperação.
relevância do contexto
chamada de contexto

Avaliação dos indicadores gerados: Forneça o que mede a ilusão e o que mede como responder à pergunta.
fidelidade
relevância da resposta

fidelidade

Avalie a precisão factual das respostas geradas em relação ao contexto fornecido.

Isso é feito em duas etapas.

Em primeiro lugar, dada uma pergunta e gerada uma resposta, o Ragas usa o LLM para descobrir as declarações feitas pela resposta gerada. Isso fornece uma lista de afirmações que devemos verificar quanto à validade. Na etapa 2, dada a lista de afirmações e o contexto retornado, o Ragas usa o LLM para verificar se as afirmações fornecidas são apoiadas pelo contexto. O número de afirmações corretas é adicionado e dividido pelo número total de afirmações na resposta gerada para obter a pontuação do exemplo dado.

Primeira etapa:

De acordo com o primeiro prompt.

Com uma pergunta e uma resposta, crie uma ou mais afirmações a partir da resposta.
Pergunta: Quem foi Albert Einstein e pelo que ele é mais conhecido?
Resposta: Ele foi um físico teórico nascido na Alemanha, amplamente reconhecido como um dos maiores e mais influentes físicos de todos os tempos. Ele era mais conhecido por desenvolver a teoria da relatividade e também fez contribuições importantes para o desenvolvimento da teoria da relatividade. Ele ficou conhecido por desenvolver a teoria da relatividade e também fez contribuições importantes para o desenvolvimento da teoria da mecânica quântica.
Ele também fez importantes contribuições para o desenvolvimento da teoria da mecânica quântica.
Albert Einstein nasceu na Alemanha.
Albert Einstein ficou mais conhecido por sua teoria da relatividade.
Pergunta: O cloreto de cádmio é ligeiramente solúvel nesse produto químico, ele também é chamado de quê?
answer: Cadmium Chloride is slightly soluble in this chemical, it is also called what?
pergunta: Cadmium Chloride is slightly soluble in this chemical, it is also called what?
O cloreto de cádmio é ligeiramente solúvel em álcool.
Resposta: alochol Declarações: O cloreto de cádmio é ligeiramente solúvel em álcool. Pergunta: Shahul e Jithin eram da mesma nacionalidade?
pergunta: Shahul e Jithin eram da mesma nacionalidade? resposta: Eles eram de países diferentes.
pergunta: Shahul e Jithin eram da mesma nacionalidade?
Shahul e Jithin eram de países diferentes.
Pergunta: O que é análise dietética?
Resposta: A análise dietética é um método de avaliação da ingestão alimentar das pessoas por meio da análise detalhada dos alimentos que elas comem durante uma semana para determinar os tipos e as quantidades de nutrientes que consomem. Ela pode revelar se as pessoas são deficientes em determinados nutrientes e se há substâncias no alimento que são prejudiciais à saúde, como açúcar, sal, cafeína, álcool, aditivos alimentares e conservantes. A análise dietética pode fornecer uma avaliação da ingestão de gordura, carboidratos, proteínas e calorias. Entretanto, a análise dietética não leva totalmente em conta a variabilidade do conteúdo de nutrientes nos alimentos, as necessidades individuais de nutrientes e a absorção e utilização de nutrientes. Portanto, ela pode não ser o método mais preciso para avaliar o estado nutricional exato de um indivíduo.
declarações.

O resultado 1 é obtido:

['A análise dietética é um método de avaliação dos alimentos que as pessoas consomem. ,
A análise dietética identifica os tipos e as quantidades de nutrientes que as pessoas consomem. ,
A análise dietética pode revelar se as pessoas são deficientes em determinados nutrientes. ,
A análise dietética pode revelar se há algumas substâncias nos alimentos que são prejudiciais à saúde. ,
A análise dietética pode fornecer uma avaliação da ingestão de gorduras, carboidratos, proteínas e calorias. ,
A análise dietética pode não ser o método mais preciso para avaliar o estado nutricional exato de um indivíduo.]

Segunda etapa:

De acordo com o segundo prompt.

Sugestão: Inferência de linguagem natural
Considere o contexto dado e as afirmações a seguir e, em seguida, determine se elas são apoiadas pelas informações presentes no contexto. Forneça uma breve explicação para cada afirmação antes de chegar ao veredicto (Sim/Não). Forneça uma breve explicação para cada afirmação antes de chegar ao veredicto (Sim/Não). Forneça um veredicto final para cada afirmação em ordem no final, no formato fornecido. Não se desvie do formato especificado.
Não se desvie do formato especificado.
John é aluno da Universidade XYZ e está se formando em Computador Ele está matriculado em vários cursos neste semestre, incluindo Estruturas de Dados, Algoritmos e Gerenciamento de Banco de Dados. John é um aluno dedicado e dedica uma quantidade significativa de tempo para estudar e concluir as tarefas. Ele está matriculado em vários cursos neste semestre, incluindo Estruturas de Dados, Algoritmos e Gerenciamento de Banco de Dados. John é um aluno assíduo e passa uma quantidade significativa de tempo estudando e concluindo tarefas. Ele costuma ficar até tarde na biblioteca para trabalhar em seus projetos.
Ele costuma ficar até tarde na biblioteca para trabalhar em seus projetos.
1. John está se formando em Biologia. 2.
2. John está fazendo um curso sobre Inteligência Artificial. 3.
3. John é um aluno dedicado.
4. John tem um emprego de meio período.
5. John está interessado em programação de computadores.
Resposta.
1. John está se formando em Biologia. 2.
Explicação: O curso de John é explicitamente mencionado como Ciência da Computação. Não há nenhuma informação que sugira que ele esteja se formando em Biologia.
2. John está fazendo um curso de Inteligência Artificial.
Explicação: O contexto menciona os cursos em que John está matriculado no momento, e Inteligência Artificial não é mencionada. Portanto, não pode ser Explicação: O contexto menciona os cursos em que John está matriculado no momento, e Inteligência Artificial não é mencionada.
3. John é um aluno dedicado.
Explicação: O prompt afirma que ele passa uma quantidade significativa de tempo estudando e concluindo tarefas. Além disso, menciona que ele frequentemente O prompt afirma que ele passa uma quantidade significativa de tempo estudando e concluindo as tarefas. Além disso, menciona que ele costuma ficar até tarde na biblioteca para trabalhar em seus projetos, o que implica dedicação.
4. John tem um emprego de meio período.
Explicação: Não há informações no contexto sobre o fato de John ter um emprego de meio período. Portanto, não se pode deduzir que John tem um emprego de meio período. Explicação: Não há informações fornecidas no contexto sobre o fato de João ter um emprego de meio período.
5. John está interessado em programação de computadores.
Explicação: O contexto afirma que João está se formando em Ciência da Computação, o que implica interesse em programação de computadores.
Veredicto final para cada afirmação, na ordem: Não. Não. Sim. Não. Sim.
Não. Sim.
Que nível de saúde você deseja alcançar? Determinar suas necessidades nutricionais ideais é essencial se você quiser entender todo o seu potencial físico e mental. Mas se suas necessidades nutricionais são muito específicas, como descobrir isso? Desde 1980, desenvolvi e aperfeiçoei um sistema para analisar as necessidades nutricionais do corpo humano, com base em uma avaliação dos principais fatores que afetam as necessidades nutricionais de um indivíduo. Esse sistema foi testado e validado em 100.000 pessoas e agora é usado por nutricionistas clínicos em todo o mundo. Inúmeras pessoas se beneficiaram dele, portanto, sei que tipo de resultados esperar desse sistema. Esses resultados incluem: pensamento mais aguçado, melhor memória, mais resistência, melhor controle de peso, níveis mais baixos de colesterol e melhores condições médicas. Embora a maioria das pessoas diagnosticadas com um problema de saúde já tenha se beneficiado de um plano de saúde pessoal, esse plano de saúde tem como objetivo principal a prevenção, não a cura. Se estiver em tratamento médico, certifique-se de que esse programa de suplementação nutricional seja compatível com as medidas terapêuticas que está recebendo. Fatores que afetam suas necessidades nutricionais Há pelo menos oito fatores que podem afetar a quantidade de nutrição de que você precisa. A idade, o sexo e a atividade física são influências comuns, mas a poluição, o estresse, a predisposição genética, sua saúde anterior e, é claro, os nutrientes e antinutrientes que sua dieta fornece não são facilmente compreendidos. Mas todos esses detalhes e outros devem ser levados em conta. Esses detalhes podem ser compreendidos por meio de quatro métodos de análise: análise da dieta, análise bioquímica, análise dos sintomas e análise do estilo de vida. A análise dietética como abordagem parece começar por onde é mais fácil: descobrir quais alimentos as pessoas estão consumindo revelará quais nutrientes são deficientes.
Mas, infelizmente, uma análise detalhada dos alimentos consumidos ao longo de uma semana não leva em conta a variabilidade do conteúdo de nutrientes dos alimentos, as necessidades de nutrientes do indivíduo ou se os nutrientes são absorvidos e se os nutrientes absorvidos são usados de forma eficiente. Já vi muitas pessoas com dietas de alta qualidade que ainda apresentam sintomas de deficiência de vitaminas. Para a grande maioria dessas pessoas, o problema é a má absorção de nutrientes. Essas variáveis tornam algumas análises dietéticas via computador menos precisas do que o previsto. As análises dietéticas são úteis para avaliar os alimentos que podem afetar as necessidades nutricionais das pessoas, como açúcar, sal, café, chá, álcool, aditivos alimentares e conservantes. Outros fatores, como a ingestão de gorduras, carboidratos, proteínas e calorias, também podem ser avaliados pela análise dietética. Testes como a análise mineral do cabelo e a análise sanguínea de vitaminas podem fornecer informações precisas sobre o estado bioquímico do corpo e permitir que os consultores nutricionais compreendam o estado nutricional exato do seu corpo. Entretanto, nem todos esses testes fornecem informações úteis para o planejamento do seu programa nutricional. Para que essas informações sejam as mais precisas possíveis, todos os testes de vitaminas ou minerais devem refletir a capacidade do nutriente de funcionar no organismo. Por exemplo, o ferro é um elemento essencial que compõe as células vermelhas do sangue e ajuda a transportar oxigênio pelo corpo. Ao medir o estado nutricional do ferro em suas células, é possível obter uma boa estimativa das suas necessidades de ferro. Por outro lado, a vitamina C não tem um papel direto na corrente sanguínea como o ferro. Ela atua principalmente na substância química 5-hidroxitriptamina no cérebro ou na reação de metilação que reduz os níveis de homocisteína. Portanto, a simples medição da vitamina B6 no sangue não é um indicador verdadeiro de que você está recebendo uma quantidade suficiente do nutriente e de que seu corpo está funcionando adequadamente. Em contrapartida, um teste como a concentração de homocisteína é mais significativo. Se você estiver recebendo vitaminas, vitaminas do complexo B e ácido fólico suficientes, seus níveis de homocisteína estarão baixos, mas se estiverem altos, você precisará de mais de um ou mais desses nutrientes. Chamamos isso de teste funcional porque ele determina com precisão se uma função específica das reações bioquímicas do seu corpo está funcionando adequadamente ou não.
afirmações.
1 A análise dietética é um método de avaliação dos alimentos que as pessoas consomem.
2 A análise dietética pode determinar os tipos e as quantidades de nutrientes que as pessoas consomem.
3 A análise dietética pode revelar se as pessoas são deficientes em determinados nutrientes.
4 A análise dietética pode revelar se há substâncias nos alimentos que são prejudiciais à saúde.
5 A análise dietética pode fornecer uma avaliação da ingestão de gorduras, carboidratos, proteínas e calorias.
6) A análise dietética pode não ser a maneira mais precisa de avaliar o estado nutricional exato de um indivíduo.
Resposta.

Obter resultado 2:

1. a análise dietética é um método para avaliar os alimentos que as pessoas consomem. explicação: o contexto menciona que a análise dietética é um método para entender os alimentos que as pessoas consomem. veredicto: sim.
explicação: o contexto menciona que a análise dietética é um método para entender quais alimentos as pessoas consomem. veredicto: sim.
2. a análise da dieta pode determinar os tipos e as quantidades de nutrientes que as pessoas consomem. explicação: o contexto menciona que a análise da dieta é um método para entender quais alimentos as pessoas consomem. veredicto: sim.
explicação: o contexto menciona que a análise dietética pode avaliar a ingestão de nutrientes como açúcar, sal, café, chá, álcool, aditivos alimentares e conservantes. Explicação: o contexto menciona que a análise dietética pode avaliar a ingestão de nutrientes como açúcar, sal, café, chá, álcool, aditivos alimentares e conservantes. não afirma explicitamente que pode determinar os tipos e as quantidades de nutrientes consumidos.
3) As análises da dieta podem revelar se as pessoas são deficientes em determinados nutrientes.
Explicação: o contexto menciona que a análise dietética pode ser útil para avaliar a ingestão de nutrientes que podem afetar as necessidades nutricionais das pessoas. Isso implica que ela pode revelar se alguém está carente de determinados nutrientes. veredicto: sim.
4) A análise dietética pode revelar se há substâncias nos alimentos que são prejudiciais à saúde.
explicação: o contexto menciona que a análise da dieta pode ser útil para avaliar a ingestão de substâncias que podem afetar as necessidades nutricionais das pessoas explicação: o contexto menciona que a análise dietética pode ser útil para avaliar a ingestão de substâncias que podem afetar as necessidades nutricionais das pessoas, como aditivos alimentares e conservantes. isso implica que ela pode revelar a presença de substâncias nocivas nos alimentos. veredicto: sim.
5) As análises dietéticas podem fornecer uma avaliação da ingestão de gorduras, carboidratos, proteínas e calorias.
explicação: o contexto menciona que a ingestão de fatores como gordura, carboidratos, proteínas e calorias pode ser avaliada por meio de análises dietéticas. Explicação: o contexto menciona que a ingestão de fatores como gordura, carboidratos, proteínas e calorias pode ser avaliada por meio de análise dietética.
6) A análise da dieta pode não ser o método mais preciso para avaliar o estado nutricional exato de um indivíduo.
Explicação: o contexto menciona que, embora a análise dietética possa fornecer informações úteis, ela pode não ser o método mais preciso para avaliar o estado nutricional exato de um indivíduo. explicação: o contexto menciona que, embora a análise da dieta possa fornecer informações úteis, ela pode não ser o método mais preciso para avaliar o estado nutricional exato de um indivíduo.
veredicto final para cada afirmação na ordem: sim. não. sim. sim. sim. sim. sim. sim. sim. sim.

soloveredicto final para cada declaração em ordem.localizar emSim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim, sim.

Contagem de pontos:

output = "sim. não. sim. sim. sim. sim. sim. sim. sim."
score = sum(0 if "yes" in answer else 1)
for answer in output.strip().split(".")
if answer ! = ""
)
# score = 1 - score/len(declarações)
socre = 1 - 1/6
# score = 0,833333333333333334

Esse é o placar final do FAITHFULNESSD.

relevância da resposta

Meça a relevância e o foco da resposta à pergunta.

Para uma determinada resposta gerada, o Ragas usa o LLM para encontrar as possíveis perguntas para as quais a resposta gerada será a resposta e calcula a semelhança com a pergunta real.

De acordo com as respostas.

Gerar pergunta para a resposta dada.
Resposta.
A missão PSLV-C56 está programada para ser lançada no domingo, 30 de julho de 2023, às 06:30 IST / 01:00 UTC. Ela será lançada do Centro Espacial Satish Dhawan, Sriharikota, Andhra Pradesh, Índia. Ele será lançado do Centro Espacial Satish Dhawan, Sriharikota, Andhra Pradesh, Índia
Pergunta: Qual é a data e o horário programados para o lançamento da missão PSLV-C56 e de onde ela será lançada?
Resposta: A análise dietética é um método de avaliação dos tipos e quantidades de alimentos consumidos na dieta de um indivíduo. Ao analisar detalhadamente os alimentos consumidos durante uma semana, é possível ver que tipos e quantidades de nutrientes as pessoas estão consumindo e detectar possíveis deficiências ou excessos de nutrientes. As análises dietéticas são úteis para avaliar o teor de nutrientes dos alimentos, sua ingestão e alguns dos fatores (por exemplo, açúcar, sal, cafeína, álcool etc.) que afetam as necessidades nutricionais. Entretanto, a análise dietética não leva em conta as necessidades individuais de nutrientes, sua absorção e utilização e, portanto, não é a única maneira de avaliar o estado nutricional de um indivíduo.
Pergunta.

Obter:

[

"O que é análise dietética e como ela é usada para avaliar a ingestão nutricional de um indivíduo?", "O que é análise dietética e como ela é usada para avaliar a ingestão nutricional de um indivíduo?
"O que é análise dietética e como ela é usada para avaliar a ingestão nutricional de um indivíduo?", "O que é análise dietética e como ela é usada para avaliar a ingestão nutricional de um indivíduo?"
]

Em seguida, calcule a similaridade entre [problema] e esses três resultados:

Processo de cálculo de similaridade: usandoincorporação de texto-ada-002Execute a vetorização e, em seguida, calcule a similaridade de cosseno.

def calculate_similarity(
self: t.Self, question: str, generated_questions: list[str]
).
question_vec = np.asarray(self.embedding.embed_query(question)).reshape(1, -1)
gen_question_vec = np.asarray(
self.embedding.embedding_documents(generated_questions)
)
norm = np.linalg.norm(gen_question_vec, axis=1) * np.linalg.norm(
question_vec, axis=1)
return (
np.dot(gen_question_vec, question_vec.T).reshape(-1,)/ norm
)

Obter:

[0.83663467 0.83484782 0.83484782]

Então, média:

answer_relevancy_score: 0.8354434364200779

relevância do contexto

Medir a relação sinal-ruído no contexto recuperado. Com uma pergunta, o Ragas chama o LLM para encontrar a frase necessária para responder à pergunta a partir do contexto recuperado. A proporção entre as frases necessárias e o total de frases no contexto fornece uma pontuação.

Entrada:

Tarefa: Extração de frases de candidatos.
Dada a pergunta e o contexto, extraia o número mínimo de frases do contexto necessárias para responder à pergunta. Se o contexto não contiver Dada a pergunta e o contexto, extraia o número mínimo de frases do contexto necessárias para responder à pergunta.
Pergunta: Qual equação é conhecida como a equação mais famosa do mundo?
Pergunta: Qual equação é conhecida como a mais famosa do mundo?
Albert Einstein (14 de março de 1879 - 18 de abril de 1955) foi um físico teórico nascido na Alemanha,[5] amplamente classificado entre os maiores e mais influentes cientistas de todos os tempos. Mais conhecido por desenvolver a teoria da relatividade, ele também fez contribuições importantes para a mecânica quântica e, portanto, foi uma figura central na revolução. Mais conhecido por desenvolver a teoria da relatividade, ele também fez contribuições importantes para a mecânica quântica e, portanto, foi uma figura central na reformulação revolucionária da compreensão científica da natureza que a física moderna realizou nas primeiras décadas do século XX. Suas fórmulas de equivalência de massa e energia foram a base para o desenvolvimento da nova física.
Sua fórmula de equivalência massa-energia E = mc2, que surge da teoria da relatividade, foi chamada de "a equação mais famosa do mundo".
frases:Sua fórmula de equivalência massa-energia E = mc2, que surge da teoria da relatividade, foi chamada de "a equação mais famosa do mundo". equação".
Pergunta: Scott Derrickson e Ed Wood eram da mesma nacionalidade?
pergunta: Scott Derrickson e Ed Wood eram da mesma nacionalidade?
Scott Derrickson (nascido em 16 de julho de 1966) é um diretor, roteirista e produtor estadunidense. Ele vive em Los Angeles, Califórnia. dirigir filmes de terror como "Sinistro", "O Exorcismo de Emily Rose" e "Livrai-nos do Mal", bem como o filme de 2016 do Universo Cinematográfico da Marvel, "Doutor Estranho". Tyler Bates é um músico, produtor musical e compositor americano para filmes, televisão e videogames. Adam Collis é um cineasta e ator americano. Adam Collis é um cineasta e ator americano.Conrad Brooks é um ator americano.Edward Davis Wood Jr. (10 de outubro de 1924 - 10 de dezembro de 1978) foi um cineasta, ator, escritor e compositor americano. Edward Davis Wood Jr. (10 de outubro de 1924 - 10 de dezembro de 1978) foi um cineasta, ator, escritor, produtor e diretor estadunidense.
Edward Davis Wood Jr. (10 de outubro de 1924 - 10 de dezembro de 1978) foi um cineasta, ator, escritor, produtor e diretor americano. frases:Scott Derrickson (nascido em 16 de julho de 1966) é um diretor, roteirista e produtor americano. - Edward Davis Wood Jr. (10 de outubro de 1924) foi um cineasta, ator, escritor, produtor e diretor americano.
Pergunta: Quantas pessoas foram mortas no incidente da Praça Tiananmen?
contexto.
Incidente da Praça Tiananmen, também chamado de incidente de 4 de junho ou 6/4, série de protestos e manifestações na China na primavera de 1989 que culminou na noite de 3 para 4 de junho com uma série de protestos e manifestações. na noite de 3 para 4 de junho, com uma repressão do governo aos manifestantes na Praça Tiananmen, em Pequim.
frases: Não foram encontradas frases candidatas.
Pergunta: O que é meal analysis?
contexto.
Que nível de saúde você deseja alcançar? Determinar suas necessidades nutricionais ideais é essencial se você quiser entender todo o seu potencial físico e mental. Mas se suas necessidades nutricionais são muito específicas, como descobrir isso? Desde 1980, desenvolvi e aperfeiçoei um sistema para analisar as necessidades nutricionais do corpo humano, com base em uma avaliação dos principais fatores que afetam as necessidades nutricionais de um indivíduo. Esse sistema foi testado e validado em 100.000 pessoas e agora é usado por nutricionistas clínicos em todo o mundo. Inúmeras pessoas se beneficiaram dele, portanto, sei que tipo de resultados esperar desse sistema. Esses resultados incluem: pensamento mais aguçado, melhor memória, mais resistência, melhor controle de peso, níveis mais baixos de colesterol e melhores condições médicas. Embora a maioria das pessoas diagnosticadas com uma condição médica tenha se beneficiado de um programa de bem-estar pessoal, esse programa de bem-estar tem como objetivo principal a prevenção, não a cura. Se estiver em tratamento médico, certifique-se de que esse programa de suplementação nutricional seja compatível com as medidas terapêuticas que está recebendo. Fatores que afetam suas necessidades nutricionais Há pelo menos oito fatores que podem afetar a quantidade de nutrição de que você precisa. A idade, o sexo e a atividade física são influências comuns, mas a poluição, o estresse, a predisposição genética, sua saúde anterior e, é claro, os nutrientes e antinutrientes que sua dieta fornece não são facilmente compreendidos. Mas todos esses detalhes e outros devem ser levados em conta. Esses detalhes podem ser compreendidos por meio de quatro métodos de análise: análise da dieta, análise bioquímica, análise dos sintomas e análise do estilo de vida. A análise dietética como abordagem parece começar por onde é mais fácil: descobrir quais alimentos as pessoas estão consumindo revelará quais nutrientes são deficientes.
Mas, infelizmente, uma análise detalhada dos alimentos consumidos ao longo de uma semana não leva em conta a variabilidade do teor de nutrientes dos alimentos, as necessidades nutricionais do indivíduo ou se os nutrientes estão sendo absorvidos e se os nutrientes absorvidos estão sendo usados de forma eficiente. Já vi muitas pessoas com dietas de alta qualidade que ainda apresentam sintomas de deficiência de vitaminas. Para a grande maioria dessas pessoas, o problema é a má absorção de nutrientes. Essas variáveis tornam algumas análises dietéticas via computador menos precisas do que o previsto. As análises dietéticas são úteis para avaliar os alimentos que podem afetar as necessidades nutricionais das pessoas, como açúcar, sal, café, chá, álcool, aditivos alimentares e conservantes. Outros fatores, como a ingestão de gorduras, carboidratos, proteínas e calorias, também podem ser avaliados pela análise dietética. Testes como a análise mineral do cabelo e a análise sanguínea de vitaminas podem fornecer informações precisas sobre o estado bioquímico do corpo e permitir que os consultores nutricionais compreendam o estado nutricional exato do seu corpo. Entretanto, nem todos esses testes fornecem informações úteis para o planejamento do seu programa nutricional. Para que essas informações sejam as mais precisas possíveis, todos os testes de vitaminas ou minerais devem refletir a capacidade do nutriente de funcionar no organismo. Por exemplo, o ferro é um elemento essencial que compõe as células vermelhas do sangue e ajuda a transportar oxigênio pelo corpo. Ao medir o estado nutricional do ferro em suas células, é possível obter uma boa estimativa das suas necessidades de ferro. Por outro lado, a vitamina C não tem um papel direto na corrente sanguínea como o ferro. Ela atua principalmente na substância química 5-hidroxitriptamina no cérebro ou na reação de metilação que reduz os níveis de homocisteína. Portanto, a simples medição da vitamina B6 no sangue não é um indicador verdadeiro de que você está recebendo uma quantidade suficiente do nutriente e de que seu corpo está funcionando adequadamente. Em contrapartida, um teste como a concentração de homocisteína é mais significativo. Se você estiver recebendo vitaminas, vitaminas do complexo B e ácido fólico suficientes, seus níveis de homocisteína estarão baixos, mas se estiverem altos, você precisará de mais de um ou mais desses nutrientes. Chamamos isso de teste funcional porque ele determina com precisão se uma função específica das reações bioquímicas do seu corpo está funcionando adequadamente.
sentenças.

Obter:

[
A análise dietética, como tal, parece começar por onde é mais fácil começar: descobrir quais alimentos as pessoas estão consumindo revela quais nutrientes são deficientes. ,
'As análises dietéticas começam por onde é fácil começar: ao descobrir o que as pessoas estão comendo, é possível descobrir quais nutrientes são deficientes'.
]

Divida cada resultado, procure-o no contexto e veja qual porcentagem das cláusulas divididas em cada resultado aparece no texto original overlap_scores.
Suponha que tenhamos[1.0, 1.0].

Contexto:

Que nível de saúde você deseja alcançar? Determinar suas necessidades nutricionais ideais é essencial se você quiser compreender todo o seu potencial físico e mental. Mas se suas necessidades nutricionais são muito específicas, como descobrir isso? Desde 1980, desenvolvi e aperfeiçoei um sistema para analisar as necessidades nutricionais do corpo humano, com base em uma avaliação dos principais fatores que afetam as necessidades nutricionais de um indivíduo. Esse sistema foi testado e validado em 100.000 pessoas e agora é usado por nutricionistas clínicos em todo o mundo. Inúmeras pessoas se beneficiaram dele, portanto, sei que tipo de resultados esperar desse sistema. Esses resultados incluem: pensamento mais aguçado, melhor memória, mais resistência, melhor controle de peso, níveis mais baixos de colesterol e melhores condições médicas. Embora a maioria das pessoas diagnosticadas com uma condição médica tenha se beneficiado de um programa de bem-estar pessoal, esse programa de bem-estar tem como objetivo principal a prevenção, não a cura. Se estiver fazendo tratamento médico, certifique-se de que esse programa de suplementação nutricional seja compatível com as medidas terapêuticas que está recebendo. Fatores que afetam suas necessidades nutricionais Há pelo menos oito fatores que podem afetar a quantidade de nutrição de que você precisa. A idade, o sexo e a atividade física são influências comuns, mas a poluição, o estresse, a predisposição genética, sua saúde anterior e, é claro, os nutrientes e antinutrientes que sua dieta fornece não são facilmente compreendidos. Mas todos esses detalhes e outros devem ser levados em conta. Esses detalhes podem ser compreendidos por meio de quatro métodos de análise: análise da dieta, análise bioquímica, análise dos sintomas e análise do estilo de vida. A análise dietética como abordagem parece começar por onde é mais fácil: descobrir quais alimentos as pessoas estão consumindo revelará quais nutrientes são deficientes.
Mas, infelizmente, uma análise detalhada dos alimentos consumidos ao longo de uma semana não leva em conta a variabilidade do teor de nutrientes dos alimentos, as necessidades nutricionais do indivíduo ou se os nutrientes estão sendo absorvidos e se os nutrientes absorvidos estão sendo usados de forma eficiente. Já vi muitas pessoas com dietas de alta qualidade que ainda apresentam sintomas de deficiência de vitaminas. Para a grande maioria dessas pessoas, o problema é a má absorção de nutrientes. Essas variáveis tornam algumas análises dietéticas via computador menos precisas do que o previsto. As análises dietéticas são úteis para avaliar os alimentos que podem afetar as necessidades nutricionais das pessoas, como açúcar, sal, café, chá, álcool, aditivos alimentares e conservantes. Outros fatores, como a ingestão de gorduras, carboidratos, proteínas e calorias, também podem ser avaliados pela análise dietética. Testes como a análise mineral do cabelo e a análise sanguínea de vitaminas podem fornecer informações precisas sobre o estado bioquímico do corpo e permitir que os consultores nutricionais compreendam o estado nutricional exato do seu corpo. Entretanto, nem todos esses testes fornecem informações úteis para o planejamento do seu programa nutricional. Para que essas informações sejam as mais precisas possíveis, todos os testes de vitaminas ou minerais devem refletir a capacidade do nutriente de funcionar no corpo. Por exemplo, o ferro é um elemento essencial que compõe as células vermelhas do sangue e ajuda a transportar oxigênio pelo corpo. Ao medir o estado nutricional do ferro em suas células, é possível obter uma boa estimativa das suas necessidades de ferro. Por outro lado, a vitamina C não tem um papel direto na corrente sanguínea como o ferro. Ela atua principalmente na substância química 5-hidroxitriptamina no cérebro ou na reação de metilação que reduz os níveis de homocisteína. Portanto, a simples medição da vitamina B6 no sangue não é um indicador verdadeiro de que você está recebendo uma quantidade suficiente do nutriente e de que seu corpo está funcionando adequadamente. Em contrapartida, um teste como a concentração de homocisteína é mais significativo. Se você estiver recebendo vitaminas, vitaminas do complexo B e ácido fólico suficientes, seus níveis de homocisteína estarão baixos, mas se estiverem altos, você precisará de mais de um ou mais desses nutrientes. Chamamos esse tipo de exame de teste funcional porque ele determina com precisão se uma função específica da resposta bioquímica do seu corpo está funcionando adequadamente.

A similaridade das duas respostas é então calculada usando bert ou jaccard para obter agr_score.
Então, a relevância do contexto pode ser calculada:

context_relevancy = agr_score * (média de overlap_scores)

chamada de contexto

Antes de poder testar isso, você precisa fornecer umground_truth.
Siga o prompt:

Dado um contexto e uma resposta, analise cada frase da resposta e classifique se a frase pode ser atribuída ao contexto dado ou não.
Pense em etapas e raciocine antes de chegar à conclusão.
Contexto: Albert Einstein (14 de março de 1879 - 18 de abril de 1955) foi um físico teórico nascido na Alemanha, amplamente considerado um dos maiores e mais brilhantes cientistas do mundo. Mais conhecido por desenvolver a teoria da relatividade, ele também fez contribuições importantes para a mecânica quântica e, portanto, foi uma figura central na teoria da relatividade. Mais conhecido por desenvolver a teoria da relatividade, ele também fez contribuições importantes para a mecânica quântica e, portanto, foi uma figura central na reformulação revolucionária da compreensão científica da natureza que a física moderna realizou nas primeiras décadas do século XX. Sua fórmula de equivalência massa-energia E = mc2, que surge da teoria da relatividade, foi chamada de "a equação mais famosa do mundo". E = mc2, que surge da teoria da relatividade, foi chamada de "a equação mais famosa do mundo". Ele recebeu o Prêmio Nobel de Física de 1921 "por seus serviços à física teórica e, especialmente, por sua descoberta da lei do efeito fotoelétrico", uma etapa fundamental no desenvolvimento da teoria da física. Ele recebeu o Prêmio Nobel de Física de 1921 "por seus serviços à física teórica e, especialmente, por sua descoberta da lei do efeito fotoelétrico", uma etapa fundamental no desenvolvimento da teoria quântica. Seu trabalho também é conhecido por sua influência na filosofia da ciência. Em uma pesquisa realizada em 1999 com 130 dos principais físicos do mundo pela revista britânica Physics World, Einstein foi classificado como o maior físico de todos os tempos. Suas realizações intelectuais e sua originalidade fizeram de Einstein sinônimo de gênio.
Resposta: Albert Einstein, nascido em 14 de março de 1879, foi um físico teórico alemão, amplamente considerado um dos maiores e mais influentes cientistas de todos os tempos. Recebeu o Prêmio Nobel de Física de 1921 "por seus serviços à física teórica". Publicou quatro artigos em 1905. Einstein mudou-se para a Suíça em 1895
Einstein mudou-se para a Suíça em 1895.
1. Albert Einstein, nascido em 14 de março de 1879, foi um físico teórico alemão, amplamente considerado um dos maiores e mais influentes cientistas de todos os tempos. A data de nascimento de Einstein é mencionada claramente no contexto.
2. ele recebeu o Prêmio Nobel de Física de 1921 "por seus serviços à física teórica". A frase exata está presente no contexto dado. A frase exata está presente no contexto dado].
3. ele publicou 4 artigos em 1905. não há menção sobre os artigos que ele escreveu no contexto dado.
4. Einstein mudou-se para a Suíça em 1895, mas não há evidência de apoio para isso no contexto dado.
Portanto [Not Attributed] contexto:{contexto}
answer:{ground_truth}
Portanto [Não Atribuído] contexto:{contexto} resposta:{ground_truth}

Obtenção de resultados:

[
'####################[Attributed]',
'######################[Attributed]',
'########################[Not Attributed]',
......
]

Calcule a porcentagem de ocorrências [Attributed] que são context_recall.

Opinião pessoal:

Sobre esta biblioteca: não é compatível com o acesso gratuito ao openai, é necessário alterar o código-fonte

Sobre os quatro indicadores

context_relevancy: doubtful (incerteza sobre a eficácia do modelo stsb-TinyBERT-L-4 chinês no cálculo da similaridade no agr_score)
context_recall: não tem certeza de qual cenário usar ......
Fidelidade.
answer_relevancy: provavelmente confiável (depende deincorporação de texto-ada-002(Precisão da semântica após a vetorização)