Original: https://arxiv.org/pdf/2402.13550.pdf
A ideia central desse método é estimular o grande modelo a pensar, julgar a intenção com base no contexto e adicionar pontuação para permitir que o grande modelo autocalibre a precisão, de modo a tomar a decisão final.
Leitura recomendada:Introducing Intents --- Introducing Intents (getzep.com)
Teoria da ToM
A metodologia é dividida em duas seções principais:
A (parte superior) descreve o processo de criação de prompts específicos da tarefa (Prompts) a partir do conjunto de dados de negociação e o uso desses prompts para avaliar vários LLMs. Uma descrição da tarefa, número de itens, valor, transcrições de diálogo e perguntas são incluídos ao criar os prompts.
B (parte inferior), por outro lado, mostra a classificação das tarefas de acordo com a objetividade, o estágio do progresso da negociação (início, em andamento, final) e o tipo de tarefa (compreensão, modelagem do parceiro, anotação, geração). As informações disponíveis variavam entre os estágios, por exemplo, apenas o contexto da negociação estava disponível no estágio inicial, enquanto o diálogo completo estava disponível no estágio final. Os tipos de tarefa incluem compreensão, modelagem de parceiro (por exemplo, inferir prioridades do parceiro), anotação (por exemplo, rotular atos de diálogo) e geração de resposta.
Para isso, os pesquisadores elaboraram várias tarefas que testaram o desempenho dos LLMs em diferentes competências de ToM durante o processo de negociação (no caso de uma promoção e aumento salarial), incluindo.
1. compreensão do ambiente de negociação inicial (Compreensão)
Essa competência exige que os LLMs acessem com precisão o estado inicial de si mesmos e de seus oponentes em uma negociação, como recursos disponíveis, prioridades, etc., a partir das informações de fundo fornecidas. No caso de negociações de aumento salarial, isso significa entender o nível salarial desejado e outras reivindicações do candidato a emprego.
2. anotação de atos de diálogo
As partes negociadoras usarão uma variedade de táticas durante o diálogo, como propor novas opções, expressar pontos de vista opostos etc. O LLM precisa ser capaz de identificar esses comportamentos de conversação para determinar a próxima etapa da resposta.
3. especular sobre as intenções do adversário (modelagem de parceiros)
Em sua essência, a ToM consiste em supor o estado interno e as necessidades de seu oponente. Em uma negociação de aumento salarial, isso pode incluir especulações sobre o orçamento salarial do recrutador com base no conteúdo do diálogo.
4. geração de respostas estratégicas
Por fim, os LLMs precisam sintetizar o entendimento e o raciocínio anteriores para gerar respostas estratégicas que busquem maximizar os benefícios para o candidato a emprego e, ao mesmo tempo, manter um bom relacionamento com o empregador.
Ao comparar o desempenho de vários LLMs nos aspectos acima, a estrutura de pesquisa avalia de forma abrangente suas capacidades e deficiências em cenários reais de negociação e fornece uma base teórica e um roteiro técnico para o desenvolvimento de sistemas práticos de assistente de negociação de IA.
Exemplo de ToM
1. tarefa de compreensão.
DESCRIÇÃO DA MISSÃO: Você está negociando com um parceiro uma série de livros, chapéus e bolas para determinar quem fica com quais itens. Diferentes tipos de itens valem diferentes números de pontos para cada um de vocês. Você receberá informações sobre a negociação. Em seguida, você precisará responder a uma pergunta.
Exemplo de pergunta: Liste o número de cada item e diga quantos pontos cada item vale para cada um de vocês.
Exemplo de contexto de diálogo: nenhuma palavra específica é fornecida, mas pode-se entender que as informações contextuais sobre a negociação precisam ser fornecidas, como o número e o valor dos pontos dos itens
Exemplo de resposta da solicitação: Responda a quantidade de cada item no formato JSON e informe o valor de cada item.
Exemplo de prompt (tarefa: sta_ask_point_values_ca).
Descrição da tarefa: Você está negociando com seu vizinho de acampamento um suprimento extra de comida, água e lenha para sua viagem de acampamento.
Diferentes tipos de pacotes valem diferentes quantidades de pontos para cada um de vocês. Você receberá informações sobre a negociação. Você receberá informações sobre a negociação.
Em seguida, você responderá a uma pergunta.
Aqui está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos em tags.
Pacotes de alimentos: 3 Pacotes de água: 3 Pacotes de lenha: 3
Aqui está o número de pontos que você obtém para cada tipo de pacote, contido em tags.
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Pergunta: Quantos pontos vale um pacote de cada edição para você? Apresente sua resposta como um json dentro de tags com
chaves como problemas (comida, água e lenha) e valores como as respostas correspondentes.
DESCRIÇÃO DA MISSÃO: Você está negociando com os vizinhos do acampamento um suprimento extra de comida, água e lenha para sua viagem de acampamento.
Tipos diferentes de pacotes valem valores diferentes para ambos. Você receberá informações sobre essa negociação.
Em seguida, você responderá a uma pergunta.
Abaixo está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
Pacotes de alimentos: 3 Pacotes de água: 3 Pacotes de lenha: 3
Aqui estão as pontuações que você obtém para cada tipo de pacote, contidas nas tags .
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
PERGUNTA: Para você, quantos pontos corresponde a um pacote de cada pergunta? Apresente sua resposta em json na tag , em que a chave é a pergunta (comida, água, lenha) e o valor correspondente à resposta.
2. tarefa de anotação de atos de diálogo.
DESCRIÇÃO DA TAREFA: Analisar os comportamentos de conversação em uma negociação para identificar ofertas, objeções ou outros comportamentos estratégicos.
Exemplo de pergunta: Em um determinado diálogo, identifique e rotule o tipo de comportamento de cada afirmação.
Exemplo de contexto de diálogo: Um discurso de negociação específico é fornecido, por exemplo, "Você: se quiser o livro, eu fico com o chapéu e a bola".
Exemplo de resposta de solicitação: anote cada ação no diálogo usando um conjunto predefinido de tags.
Exemplo de solicitação (tarefa: dur_full_proposal_dnd):.
Descrição da tarefa: Você está negociando com um parceiro uma certa quantidade de livros, chapéus e bolas para determinar quem fica com quais itens.
Diferentes tipos de itens valem diferentes quantidades de pontos para cada um de vocês. Você receberá informações sobre a negociação.
Em seguida, você responderá a uma pergunta.
Aqui está o número de livros, chapéus e bolas disponíveis na negociação, contidos em tags.
Livros: 3 Chapéus: 1 Bolas: 2
Aqui está o número de pontos que você recebe para cada tipo de item, contido nas tags .
Cada livro: 1 ponto Cada chapéu: 5 pontos Cada bola: 1 ponto
Aqui está um enunciado da negociação, contido nas tags .
Você: Eu levo o chapéu e as bolas se você quiser os livros .
Pergunta: Quantos itens o palestrante recebe para cada questão da proposta delimitada pelas tags ? Apresente sua resposta como um json
dentro das tags com chaves como problemas (livros, chapéus e bolas) e valores como as respostas correspondentes. Se a resposta não estiver clara
para um problema, saída NA.
Descrição da tarefa: Você está negociando com um colega o número de alguns livros, chapéus e bolas para decidir quem fica com quais itens.
Cada item tem um valor de ponto diferente para cada um de vocês. Vocês receberão informações sobre as negociações.
Em seguida, você responderá a uma pergunta.
Esse é o número de livros, chapéus e bolas disponíveis na negociação, contidos na tag .
Livros: 3 Chapéus: 1 Bolas: 2
Essa é a quantidade de pontos que você pode obter para cada item, contida na tag .
Por livro: 1 ponto Por chapéu: 5 pontos Por bola: 1 ponto
Esta é uma citação da negociação, contida na tag .
Você: Se você quiser livros, eu fico com o chapéu e a bola </utterance
Pergunta: quantos itens o orador recebe por pergunta na oferta delineada pela tag ? Dê sua resposta em formato json na tag , em que as chaves são as perguntas (livros, chapéus e bolas) e os valores são as respostas correspondentes. Se a resposta a uma pergunta não estiver clara, dê como resultado NA.
3. tarefa de modelagem de parceiros.
Descrição da tarefa: Com base no diálogo da negociação, especule quais itens a outra parte valoriza mais.
Exemplo de pergunta: Com base no diálogo, determine a ordem de preferência de itens da outra pessoa.
Exemplo de contexto de diálogo: é fornecido um cenário no qual o locutor propõe uma transação e os parceiros indicam suas prioridades para o item.
Exemplo de resposta de solicitação: resposta no formato JSON, listando a ordem de preferência da outra parte.
Exemplo de solicitação (tarefa: end_deal_specifics_ca).
Descrição da tarefa: Você está negociando com seu vizinho de acampamento o fornecimento extra de alimentos, água e lenha para sua viagem de acampamento. de pacotes
Você receberá informações sobre a negociação e, em seguida, responderá a uma pergunta. Você receberá informações sobre a negociação.
Aqui está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos em tags.
Pacotes de alimentos: 3 Pacotes de água: 3 Pacotes de lenha: 3
Aqui está o número de pontos que você obtém para cada tipo de pacote, contido em tags.
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, contido em tags.
Ele: Olá, gostaria de receber três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais alimentos para isso.
VOCÊ: Eu estaria aberto a isso se você pudesse me dar três pacotes de água.
Estou bastante enlameado por causa da falta de jeito, então talvez precise de mais um. Estou bastante enlameado devido à falta de jeito, então posso precisar de mais um. Eu poderia lhe dar duas águas e toda a lenha. O que você acha?
VOCÊ: Então você está sugerindo que eu receberia 2 águas, 3 lenha e nenhum alimento?
Bem, além dos alimentos que você já tem.
VOCÊ: Tenho uma pessoa extra acampando conosco que eu não esperava quando comprei a comida, então eu poderia usar uma se você estiver disposto, e não tenho certeza se você está disposto.
Eu não estava esperando ficar mais uma noite, mas o clima está perfeito demais para ir embora. Eu posso me virar com dois pacotes de comida, com certeza. Eu consigo me virar com dois pacotes de comida, com certeza.
VOCÊ: Ótimo! Obrigado por ser tão compreensivo!
Então, estamos de acordo que eu recebo 2 alimentos, 1 água e você recebe o inverso? Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim. Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim.
VOCÊ: Eu posso lhe dar uma lenha, então vou receber 1 alimento, 2 água e 2 lenha?
Pergunta: No acordo final, quantos itens de cada questão você obteve? Apresente sua resposta como um json dentro de tags com chaves como questões (comida, água etc.) Apresente sua resposta como um json dentro de tags com chaves como problemas (comida, água, etc.),
Se não houve acordo, responda NA para cada questão.
Declaração de missão: Você está negociando com seus vizinhos de acampamento sobre suprimentos extras de comida, água e lenha para a viagem de acampamento. Tipos diferentes de pacotes têm valores diferentes para cada um de vocês. Você receberá informações sobre a negociação e, em seguida, terá de responder a uma pergunta.
Abaixo está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Abaixo está o número de pontos que você recebe por cada parcela, contido na tag .
Cada pacote de alimentos: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Esse é o diálogo completo, contido na tag .
Them: Oi, gostaria de um pacote com três tipos de comida. Decidimos ficar mais uma noite, mas precisamos de mais comida.
VOCÊ: Eu quero um pacote com três garrafas de água, se você me der.
Eles: Bem... Como sou desajeitado, talvez eu precise de um pouco mais. Posso lhe dar duas águas e toda a lenha, o que acha?
VOCÊ: Então você está sugerindo que eu deveria pegar 2 de água, 3 de lenha e nenhum alimento?
Eles: Certo! Mais comida do que você já tem.
VOCÊ: Tenho uma pessoa extra acampando conosco e não espero por ela quando compro comida, então vou usar um desses, se você quiser
Eles: Eu entendo você! Eu não estava ansioso para ficar mais uma noite, mas o tempo estava perfeito demais para ir embora facilmente. Eu poderia ter usado dois pacotes de alimentos, com certeza
Você: ótimo! Obrigado por ser tão compreensivo!
Eles: Sem problemas! Então, concordamos que eu leve 2 alimentos e 1 água e você faça o contrário. Eu provavelmente poderia usar uma lenha também, mas isso não é muito importante para mim.
Você: posso lhe dar uma lenha para que eu receba 1 alimento, 2 água e 2 lenha? </diálogo
Pergunta: na transação final, quantos itens de cada pergunta você obteve? Forneça suas respostas no formato json em tags , com as perguntas (comida, água e lenha) como chaves e as respostas correspondentes como valores. Se não houver protocolo, responda NA para cada pergunta.
4. tarefa de geração de resposta estratégica.
DESCRIÇÃO DA TAREFA: Ao final de uma negociação, gere uma resposta estratégica ou proponha um acordo com base em todo o histórico do diálogo e nas preferências da outra parte.
Exemplo de pergunta: ao final de uma negociação, gere uma resposta que considere como maximizar sua pontuação, levando em conta as preferências de seu parceiro.
Exemplo de contexto de diálogo: fornece todo o diálogo de negociação, incluindo as propostas e preferências de ambos os lados.
Exemplo de resposta de solicitação: gera uma resposta no formato JSON contendo uma oferta estratégica ou uma aceitação ou rejeição da oferta atual.
Exemplo de solicitação (tarefa: end_deal_total_ca).
Descrição da tarefa: Você está negociando com seu vizinho de acampamento o fornecimento extra de alimentos, água e lenha para sua viagem de acampamento. de pacotes
Você receberá informações sobre a negociação e, em seguida, responderá a uma pergunta. Você receberá informações sobre a negociação.
Aqui está o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos nas tags .
Pacotes de alimentos: 3
Pacotes de água: 3
Pacotes de lenha: 3
Aqui está o número de pontos que você recebe para cada tipo de pacote, contido nas tags .
Cada pacote de alimentos: 3 pontos
Cada pacote de água: 5 pontos
Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, contido nas tags .
ELES: Olá, gostaria de receber três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais alimentos para isso.
Eu estaria aberto a isso se você pudesse me dar três pacotes de água
Estou bem sujo de lama devido à falta de jeito, então talvez precise de mais um. Estou bastante enlameado devido à falta de jeito, então posso precisar de mais um. Eu poderia lhe dar duas águas e toda a lenha.
VOCÊ: Então você está sugerindo que eu receberia 2 águas, 3 lenha e nenhum alimento?
Bem, além dos alimentos que você já tem.
VOCÊ: Tenho uma pessoa a mais acampando conosco que não esperava quando comprei a comida, portanto, posso usar uma se você estiver disposto
ELES: Entendo isso! Não estava esperando ficar mais uma noite, mas o clima está perfeito demais para ir embora. Posso me virar com dois pacotes de comida, com certeza.
VOCÊ: Ótimo! Obrigado por ser tão compreensivo!
Então, estamos de acordo que eu recebo 2 alimentos, 1 água e você recebe o inverso? Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim. Eu provavelmente também poderia usar uma lenha, mas isso não é tão importante para mim.
Posso lhe dar uma lenha, então receberei 1 alimento, 2 água e 2 lenha?
Pergunta: Quantos pontos você obteve no final da negociação?
OBSERVAÇÃO: Vamos pensar passo a passo! Coloque seus pensamentos nas tags e coloque sua resposta como um único número nas tags . answer>.
DESCRIÇÃO DA MISSÃO: Você está negociando com os vizinhos do acampamento um suprimento excedente de comida, água e lenha. Diferentes tipos de pacotes têm diferentes pontos de valor. Você receberá informações sobre a negociação. Em seguida, você responderá a uma pergunta.
Esse é o número de pacotes de alimentos, água e lenha disponíveis na negociação, contidos na tag .
Pacotes de alimentos: 3
Parcelas de água: 3
Parcelas de lenha: 3
Essa é a pontuação que você obtém para cada tipo de pacote, contida na tag .
Por pacote de alimentos: 3 pontos
Por parcela de água: 5 pontos
Cada parcela de lenha: 4 pontos
Esse é o diálogo completo, contido na tag .
Eles: Oi, eu gostaria de três pacotes de alimentos. Decidimos ficar mais uma noite, mas precisamos de mais comida.
VOCÊ: Se puder me dar três pacotes de água, eu os levarei.
Eles: hmmm ...... Eu me sujei muito devido à minha falta de jeito, então talvez eu precise de um extra. Posso lhe dar dois para água e toda a lenha. O que você acha?
VOCÊ: Então você está sugerindo que eu pegue 2 de água, 3 de lenha e nenhum alimento?
Eles: Certo! Ok, exceto pela comida que você já tem.
VOCÊ: Tenho uma pessoa a mais acampando conosco que não previ quando comprei a comida, posso usar uma se quiser.
Eu entendo! Eu não esperava ficar mais uma noite, mas o tempo estava bom demais para ir embora. Tenho certeza de que conseguirei lidar com dois pacotes de alimentos.
Você: Ótimo! Obrigado por ser tão compreensivo!
Eles: Sem problemas! Concordamos que eu fico com 2 alimentos e 1 água e você fica com o inverso? Talvez eu precise de lenha também, mas isso é menos importante para mim.
Você: Posso lhe dar uma lenha para que eu receba 1 alimento, 2 água e 2 lenha?
Pergunta: No final das negociações, quantos pontos você recebeu?
Observação: Vamos pensar passo a passo! Coloque seu processo de pensamento na tag e sua resposta como um único número na tag .
Lógica de execução da ToM
1) A tarefa de compreender desde o início:
Descrição da missão: você está fazendo um acordo com outros campistas na vizinhança causadora sobre alimentos, água e lenha adicionais. Tipos diferentes de parcelas têm valores diferentes para cada um de vocês. Você receberá informações detalhadas sobre as negociações e depois precisará responder a uma pergunta.
A seguir, o número de pacotes de comida, água e lenha disponíveis na negociação, anotados na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Aqui estão os pontos que você pode ganhar com base em cada tipo de pacote, anotados na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
PERGUNTA: Quantos pontos vale um pacote por pergunta para você? Por favor, responda em formato json contendo tags , em que a chave representa a pergunta (comida, água, lenha) e o valor é a resposta correspondente.
2. tarefas de anotação em andamento:
DESCRIÇÃO DA MISSÃO: Você está negociando com seu parceiro mais livros, chapéus e bolas. Tipos diferentes de itens têm valores diferentes para você. Você receberá informações detalhadas sobre as negociações e, em seguida, terá de responder a uma pergunta.
Aqui está o número de livros, chapéus e bolas que você pode obter na negociação, anotado na tag . Livros: 3 Chapéus: 1 Bolas: 2.
Aqui estão os pontos que você pode ganhar com base em cada tipo de item, anotados na tag . Cada livro: 1 ponto Cada chapéu: 5 pontos Cada bola: 1 ponto
A seguir, uma citação do processo de negociação, registrada na tag . Você: Se você quiser o livro, eu vou buscar o chapéu e a bola.
Pergunta: quantos itens o locutor obtém em cada uma das sugestões divididas pela tag ? Resposta em formato json contendo tags , em que a chave representa a pergunta (livro, chapéu, bola) e o valor é a resposta correspondente. Se a resposta a uma pergunta não estiver clara, preencha com NA.
3. compreensão das tarefas no final da fase:
Descrição da missão: Você está chegando a um acordo com um campista vizinho sobre um suprimento adicional de comida, água e lenha. Tipos diferentes de pacotes têm valores diferentes para você, e você receberá informações detalhadas sobre as negociações e precisará responder a uma pergunta.
Esse é o número de pacotes de comida, água e lenha aos quais você tem acesso durante as negociações, registrado na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Esse é o número de pontos que você pode ganhar com base em cada tipo de pacote, anotado na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, registrado na tag . ...
PERGUNTA: Na transação final, quanto de cada item você recebeu? Por favor, responda no formato json contendo tags , em que a chave representa a pergunta (comida, água, lenha) e o valor é a resposta correspondente. Se não houver acordo, para todas as perguntas, preencha a resposta com NA.
4. sugestões de pensamento em cadeia:
DESCRIÇÃO DA MISSÃO: Você está negociando com os campistas vizinhos os suprimentos de comida, água e lenha. Tipos diferentes de pacotes terão valores diferentes para cada um de vocês e você receberá informações detalhadas sobre a negociação e precisará responder a uma pergunta.
Esse é o número de pacotes de comida, água e lenha aos quais você tem acesso durante as negociações, registrado na tag . Parcelas de alimentos: 3 Parcelas de água: 3 Parcelas de lenha: 3
Esse é o número de pontos que você pode ganhar com base em cada tipo de pacote, anotado na tag . Cada pacote de alimento: 3 pontos Cada pacote de água: 5 pontos Cada pacote de lenha: 4 pontos
Aqui está o diálogo completo, registrado na tag . ...
PERGUNTA: Ao final da negociação, quantos pontos vocês ganharam no total?
Observação: pense em um passo de cada vez! Registre seu processo de pensamento na tag e sua resposta com um número na tag .
