ToM 협상 프레임워크 프롬프트 단어

원본: https://arxiv.org/pdf/2402.13550.pdf

태양 아래 새로운 것은 없습니다. 이 방법의 핵심 아이디어는 빅 모델이 생각하도록 자극하고, 문맥에 따라 의도를 판단하고, 점수를 추가하여 빅 모델이 정확도를 스스로 보정하여 최종 결정을 내릴 수 있도록 하는 것입니다.

추천 읽기:인텐트 소개 --- 인텐트 소개(getzep.com)

ToM 이론

방법론은 크게 두 가지 섹션으로 나뉩니다:

A(위)는 협상 데이터세트에서 작업별 프롬프트(프롬프트)를 만들고 이 프롬프트를 사용하여 다양한 LLM을 평가하는 프로세스를 설명합니다. 프롬프트를 만들 때 작업 설명, 항목 수, 값, 대화 내용 및 질문이 포함됩니다.

반면 B(아래)는 객관성, 협상 진행 단계(시작, 진행 중, 종료) 및 작업 유형(이해, 파트너 모델링, 주석 달기, 생성)에 따라 작업을 분류한 것입니다. 예를 들어, 시작 단계에서는 협상의 맥락만 볼 수 있는 반면, 종료 단계에서는 전체 대화를 볼 수 있는 등 단계마다 제공되는 정보가 달랐습니다. 작업 유형에는 이해, 파트너 모델링(예: 파트너 우선순위 추론), 주석(예: 대화 행위에 라벨 지정) 및 응답 생성이 포함됩니다.

이를 위해 연구진은 협상 과정(승진 및 연봉 인상의 경우) 전반에 걸쳐 다양한 ToM 역량에 대한 LLM 성과를 테스트하는 몇 가지 과제를 설계했습니다.

1. 초기 협상 환경에 대한 이해(이해도)

이 역량을 갖추려면 LLM은 제공된 배경 정보를 통해 가용 자원, 우선순위 등 협상에서 자신과 상대방의 초기 상태를 정확하게 파악해야 합니다. 연봉 인상 협상의 경우, 구직자의 희망 연봉 수준과 기타 주장을 이해하는 것을 의미합니다.

2. 대화 행위 주석

협상 당사자는 대화 중에 새로운 옵션을 제안하거나 반대 의견을 표명하는 등 다양한 전술을 사용합니다. LLM은 다음 단계의 대응을 결정하기 위해 이러한 대화 행동을 파악할 수 있어야 합니다.

3. 공격자의 의도 추측(파트너 모델링)

ToM의 핵심은 상대의 내부 상태와 요구 사항을 추측하는 것입니다. 연봉 인상 협상에서는 대화 내용을 바탕으로 채용 담당자의 연봉 예산을 추측하는 것이 여기에 포함될 수 있습니다.

4. 전략적 대응 생성

궁극적으로 LLM은 앞선 이해와 추론을 종합하여 구직자의 이익을 극대화하는 동시에 고용주와 좋은 관계를 유지할 수 있는 전략적 대응을 만들어야 합니다.

연구 프레임워크는 위와 같은 측면에서 여러 LLM의 성능을 비교함으로써 실제 협상 시나리오에서 그 능력과 단점을 종합적으로 평가하고, 실용적인 AI 협상 보조 시스템 개발을 위한 이론적 기반과 기술 로드맵을 제공합니다.

ToM 예제

1. 이해 과제.

미션 설명: 파트너와 책, 모자, 공을 놓고 협상을 통해 누가 어떤 아이템을 받을지 결정해야 합니다. 아이템의 종류에 따라 각자에게 주어지는 점수의 가치가 다릅니다. 협상에 대한 정보가 주어집니다. 그런 다음 질문에 답해야 합니다.

예시 질문: 각 항목의 개수를 나열하고 각 항목이 각자에게 몇 점의 가치가 있는지 서술하세요.

대화 맥락의 예: 구체적인 단어는 제공되지 않지만, 아이템의 개수 및 포인트 가치와 같은 협상에 대한 맥락 정보를 제공해야 함을 이해할 수 있습니다.

요청 응답 예: 각 항목의 수량을 JSON 형식으로 응답하고 각 항목의 값을 명시하세요.

샘플 프롬프트(작업: sta_ask_point_values_ca).

작업 설명: 캠핑 여행에 필요한 음식, 물, 장작을 추가로 공급받기 위해 캠핑장 이웃과 협상 중입니다.
패키지 유형에 따라 각 회원에게 지급되는 포인트의 가치가 다릅니다. 협상에 대한 정보가 제공됩니다. 협상에 대한 정보가 제공됩니다.
그런 다음 질문에 답합니다.
다음은 협상에서 사용할 수 있는 식량, 물, 장작 패키지의 개수로, 태그에 포함되어 있습니다.
식량 패키지: 3개 물 패키지: 3개 장작 패키지: 3개
다음은 태그에 포함된 각 패키지 유형에 대해 획득할 수 있는 포인트 수입니다.
각 음식 패키지: 3점 각 물 패키지: 5점 각 장작 패키지: 4점
질문: 각 이슈의 한 패키지는 몇 점의 가치가 있나요? 태그 안에 다음과 같이 json으로 답을 제시하세요.
키를 문제(식량, 물, 장작)로, 값을 해당 답으로 지정합니다.

미션 설명: 캠핑 여행에 필요한 음식, 물, 장작을 추가로 공급받기 위해 캠핑장 이웃과 협상 중입니다.
패키지 유형에 따라 두 사람 모두에게 다른 금액의 가치가 있습니다. 이 협상에 대한 정보가 제공될 것입니다.
그런 다음 질문에 답합니다.
아래는 협상에서 사용할 수 있는 식량, 물, 장작 패키지의 개수로, 태그에 포함되어 있습니다.
식량 팩: 3개 물 팩: 3개 장작 팩: 3개
다음은 태그에 포함된 각 패키지 유형에 대한 점수입니다.
각 식량 패킷: 3점 각 물 패킷: 5점 각 장작 패킷: 4점
질문: 각 질문의 패킷은 몇 점인가요? 태그에 질문(음식, 물, 장작)과 답에 해당하는 값을 json으로 제시하세요.

2. 대화 행위 주석 작업.

작업 설명: 협상에서 대화 행동을 분석하여 제안, 반대 또는 기타 전략적 행동을 식별합니다.

예시 문제: 주어진 대화에서 각 진술의 행동 유형을 식별하고 라벨을 붙이세요.

대화 문맥의 예: 구체적인 협상 담화가 제공됩니다(예: "당신: 책을 원한다면 모자와 공을 가져갈게요").

요청 응답 예시: 미리 정의된 태그 집합을 사용하여 대화에서 각 작업에 주석을 달 수 있습니다.

샘플 프롬프트(작업: dur_full_proposal_dnd):.

작업 설명: 파트너와 책, 모자, 공의 수량을 놓고 협상을 통해 누가 어떤 아이템을 받을지 결정해야 합니다.
아이템의 종류에 따라 각자에게 지급되는 포인트의 가치가 달라집니다. 협상에 대한 정보가 제공됩니다.
그런 다음 질문에 답합니다.
다음은 협상에서 사용할 수 있는 책, 모자, 공의 개수로, 태그에 포함되어 있습니다.
책: 3 모자: 1 공: 2
다음은 태그에 포함된 각 항목 유형에 대해 획득할 수 있는 포인트 수입니다.
각 책: 1점 각 모자: 5점 각 공: 1점
다음은 태그에 포함된 협상에서 나온 발언입니다.
유: 책을 원하시면 모자와 공은 제가 가져갈게요 .
질문: 태그로 구분된 제안서의 각 이슈에 대해 발표자가 얻는 항목은 몇 개인가요? 답을 json으로 제시하세요.
태그 안에 키를 문제(책, 모자, 공)로, 값을 해당 답으로 입력합니다. 정답이 명확하지 않은 경우
이슈의 경우 NA를 출력합니다.

과제 설명: 짝과 책, 모자, 공의 개수에 대해 협상하여 누가 어떤 아이템을 받을지 결정해야 합니다.
각 항목은 각기 다른 포인트 값을 갖습니다. 협상에 대한 정보가 제공됩니다.
그런 다음 질문에 답합니다.
협상에서 사용할 수 있는 책, 모자, 공의 개수로, 태그에 포함되어 있습니다.
책: 3 모자: 1 공: 2
각 항목에 대해 획득할 수 있는 포인트의 양으로, 태그에 포함되어 있습니다.
책당: 1점 모자당: 5점 공당: 1점
이것은 태그에 포함된 협상의 인용문입니다.
당신: 책을 원한다면 모자와 공을 가져갈게요</음성
질문: 태그로 표시된 오퍼에서 화자는 질문당 몇 개의 아이템을 받을 수 있나요? 태그에 키는 질문(책, 모자, 공)이고 값은 해당 답변인 json 형식의 답변을 입력합니다. 질문에 대한 답이 명확하지 않은 경우 NA를 출력합니다.

3. 파트너 모델링 작업.

과제 설명: 협상의 대화를 바탕으로 상대방이 가장 중요하게 여기는 항목이 무엇인지 추측해 보세요.

예시 문제: 대화를 바탕으로 상대방이 선호하는 항목의 순서를 추론하세요.

대화 컨텍스트 예시: 화자가 거래를 제안하고 파트너가 항목에 대한 우선순위를 표시하는 시나리오가 제공됩니다.

요청 응답 예시: 상대방의 선호 순서를 나열한 JSON 형식의 응답입니다.

샘플 프롬프트(작업: end_deal_specifics_ca).

작업 설명: 캠핑 여행을 위한 음식, 물, 장작을 추가로 공급받기 위해 캠핑장 이웃과 협상 중입니다. 다양한 유형의 패키지를 이용할 수 있습니다. 패키지 종류
협상에 대한 정보가 제공됩니다. 그런 다음 질문에 답변합니다. 협상에 대한 정보가 제공됩니다.
다음은 협상에서 사용할 수 있는 식량, 물, 장작 패키지의 개수로, 태그에 포함되어 있습니다.
식량 패키지: 3개 물 패키지: 3개 장작 패키지: 3개
다음은 태그에 포함된 각 패키지 유형에 대해 획득할 수 있는 포인트 수입니다.
각 음식 패키지: 3점 각 물 패키지: 5점 각 장작 패키지: 4점
다음은 태그에 포함된 전체 대화 내용입니다.
여보세요, 음식 세 개를 주문하려고요. 하룻밤 더 묵기로 했는데 음식이 더 필요해서요.
당신: 물 세 팩을 주시면 그렇게 할 수 있을 것 같아요.
서툴러서 진흙이 많이 묻어서 한 개가 더 필요할 것 같아요. 서툴러서 진흙이 많이 묻어서 한 개가 더 필요할 것 같아 물 두 개와 장작을 모두 줄 수 있는데 어때요?
당신: 그럼 물 2개와 장작 3개, 그리고 음식이 없다는 건가요?
이미 가지고 있는 음식 외에도요.
YOU: 식료품을 살 때 예상하지 못한 캠핑을 함께 할 사람이 한 명 더 있는데, 괜찮으시다면 한 명을 사용할 수 있을 것 같은데, 괜찮으실지 모르겠네요.
하룻밤 더 묵을 생각은 없었는데 날씨가 너무 좋아서 떠나기엔 너무 완벽해요. 음식 두 개로 충분히 버틸 수 있어요. 도시락 두 개면 충분히 먹고 살 수 있어요.
당신: 좋아요! 이해해 주셔서 감사합니다!
그럼 저는 음식 2개와 물 1개를, 여러분은 그 반대를 받는다는 데 동의하시나요? 장작 하나도 사용할 수 있지만 제게는 그다지 중요하지 않아요. 저도 장작 하나를 사용할 수 있지만 저에게는 그다지 중요하지 않습니다.
당신: 장작 하나를 줄 수 있으니 식량 1개, 물 2개, 장작 2개를 받을 수 있을까요?
질문: 최종 거래에서 각 이슈의 아이템은 몇 개나 얻었나요? 태그 안에 키(음식, 물 등)를 이슈로 하여 json으로 답을 제시하세요. 물, 물, 물, 물, 물, 물, 물, 물, 물, 물, 물, 물, 물, 물, 물.
합의가 이루어지지 않은 경우 각 문제에 대해 '아니요'라고 답하세요.

미션: 캠핑 이웃과 캠핑 여행에 필요한 음식, 물, 장작을 추가로 공급받기 위해 협상 중입니다. 각기 다른 유형의 패키지에는 각기 다른 가치가 있습니다. 협상에 대한 정보를 받은 후 질문에 답해야 합니다.
아래는 협상에서 사용할 수 있는 식량, 물, 장작 패키지의 개수로, 태그에 포함되어 있습니다.
식량 소포: 3 물 소포: 3 장작 소포: 3
아래는 태그에 포함된 각 소포에 대해 획득할 수 있는 포인트 수입니다.
식품 소포당: 3점 물 소포당: 5점 장작 소포당: 4점
이것이 태그에 포함된 전체 대화입니다.
그들: 안녕하세요, 음식 세 팩 주세요. 하룻밤 더 묵기로 했는데 음식이 더 필요해서요.
당신: 물 3팩 주세요, 주시면요.
그들: 글쎄요... 내가 서툴러서 조금 더 필요할지도 몰라. 물 두 병과 장작을 줄 수 있는데, 어때요?
당신: 그러니까 물 2개, 장작 3개, 음식은 안 가져가라는 건가요?
그들: 맞아요! 이미 가지고 있는 것보다 더 많은 음식.
당신: 우리와 함께 캠핑하는 사람이 한 명 더 있는데 음식을 살 때 그를 기대하지 않으므로 원한다면 그 중 하나를 사용할 것입니다.
그들: 이해해요! 하룻밤 더 묵을 생각은 없었지만 날씨가 너무 좋아서 쉽게 떠나지 못했어요. 음식 소포를 두 개나 쓸 수도 있었어요.
사용자: 좋아요! 이해해 주셔서 감사합니다!
그들: 문제없어요! 저는 음식 2개와 물 1개를 먹고 당신은 그 반대를 먹는다는 데 동의하나요? 장작을 사용할 수도 있지만 저에게는 그다지 중요하지 않아요.
당신: 장작을 주면 식량 1개, 물 2개, 장작 2개를 얻을 수 있을까요? </대화
질문: 최종 거래에서 각 질문의 아이템을 몇 개나 얻었나요? 질문(음식, 물, 땔감)을 키로, 해당 답변을 값으로 하여 태그에 json 형식으로 답변을 입력합니다. 프로토콜이 없는 경우 각 질문에 대해 NA로 답하세요.

4. 전략적 대응 생성 작업.

작업 설명: 협상이 끝나면 대화의 전체 기록과 상대방의 선호도를 바탕으로 전략적 대응을 하거나 거래를 제안하세요.

샘플 질문: 협상이 끝날 때 상대방의 선호도를 고려하여 점수를 극대화하는 방법을 고려한 답변을 작성하세요.

대화 컨텍스트의 예: 양측의 제안과 선호도를 포함한 전체 협상 대화 내용을 제공합니다.

요청 응답 예시: 전략적 오퍼 또는 현재 오퍼의 수락 또는 거부가 포함된 JSON 형식의 응답을 생성합니다.

샘플 프롬프트(작업: end_deal_total_ca).

작업 설명: 캠핑 여행을 위한 음식, 물, 장작을 추가로 공급받기 위해 캠핑장 이웃과 협상 중입니다. 다양한 유형의 패키지를 이용할 수 있습니다. 패키지 종류
협상에 대한 정보가 제공됩니다. 그런 다음 질문에 답변합니다. 협상에 대한 정보가 제공됩니다.
다음은 협상에서 사용할 수 있는 식량, 물, 장작 패키지의 개수로, 태그에 포함되어 있습니다.
<count>
식품 패키지: 3
물 패키지: 3
장작 패키지: 3
</count>
다음은 태그에 포함된 각 패키지 유형에 대해 획득하는 포인트 수입니다.
<value>
각 음식 패키지: 3포인트
각 워터 패키지: 5포인트
각 장작 패키지: 4포인트
</value>
다음은 태그에 포함된 전체 대화 내용입니다.
<대화
안녕하세요, 음식 세 개를 주문하고 싶어요. 하룻밤 더 묵기로 했는데 음식이 더 필요해서요.
물 세 팩을 주시면 감사하겠습니다.
제가 서툴러서 진흙이 많이 묻어서 한 개 더 필요할 것 같아요. 서툴러서 진흙이 많이 묻어서 한 개가 더 필요할 것 같아요. 물 두 개와 장작을 모두 줄 수 있어요.
당신: 그럼 물 2개와 장작 3개, 그리고 음식이 없다는 건가요?
이미 가지고 있는 음식 외에도요.
당신: 음식을 살 때 예상하지 못한 캠핑 인원이 한 명 더 있는데, 괜찮으시다면 한 명 더 데려가도 될까요?
하룻밤 더 묵을 생각은 없었지만 날씨가 너무 좋아서 떠나기엔 너무 완벽했어요. 두 개의 음식 패키지로도 충분히 버틸 수 있어요.
당신: 좋아요! 이해해 주셔서 감사합니다!
그럼 저는 음식 2개와 물 1개를, 여러분은 그 반대를 받는다는 데 동의하시나요? 장작 하나도 사용할 수 있지만 제게는 그다지 중요하지 않아요. 저도 장작 하나를 사용할 수 있지만 저에게는 그다지 중요하지 않습니다.
장작을 하나 줄 테니 식량 1개, 물 2개, 장작 2개를 주면 되나요?
</dialogue>
질문: 협상이 끝났을 때 몇 점을 얻었나요?
참고: 차근차근 생각해 봅시다! 태그에 생각을 입력하고, 태그에 하나의 숫자로 답을 입력합니다. answer> 태그에 넣습니다.

미션 설명: 캠핑장 이웃과 식량, 물, 장작의 잉여 공급을 위해 협상을 진행 중입니다. 패키지 유형에 따라 가치 포인트가 다릅니다. 협상에 대한 정보가 주어집니다. 그런 다음 질문에 답합니다.
협상에서 사용할 수 있는 식량, 물, 장작 꾸러미의 개수로, 태그에 포함되어 있습니다.
<count>
식품 소포: 3
물 소포: 3
장작 소포: 3
</count>
이것은 태그에 포함된 각 패키지 유형에 대해 얻은 점수입니다.
<value>
식품 소포당: 3점
물 소포당: 5점
각 장작 소포: 4점
</value>
이것이 태그에 포함된 전체 대화입니다.
<대화
질문자: 안녕하세요, 식료품 세 개를 주세요. 하룻밤 더 묵기로 했는데 식료품이 더 필요해요.
당신: 물 꾸러미 세 개를 구해 주면 가져갈게요.
그 사람들: 흠 ...... 제 지저분함으로 인해 매우 더러워져서 여분이 필요할 것 같아요. 물과 장작 두 개를 드릴게요. 어때요?
당신: 그럼 물 2개, 장작 3개, 음식은 안 먹으라는 건가요?
그들: 맞아요! 좋아요, 이미 가지고 있는 음식만 빼고요.
유: 음식을 살 때 예상하지 못한 캠핑 인원이 한 명 더 있는데, 원하시면 한 명 더 데려가도 될까요?
이해합니다! 하룻밤 더 묵을 생각은 없었지만 날씨가 너무 좋아서 떠나기 힘들었어요. 식료품 소포 두 개는 감당할 수 있을 것 같아요.
사용자: 좋아요! 이해해 주셔서 감사합니다!
그들: 문제없어요! 저는 음식 2개, 물 1개, 당신은 그 반대를 받는다는 데 동의하시나요? 장작도 필요하겠지만 저한테는 그다지 중요하지 않아요.
당신: 장작을 주면 식량 1개, 물 2개, 장작 2개를 받을 수 있을까요?
</dialogue>
질문: 협상이 끝났을 때 몇 점을 받았나요?
참고: 차근차근 생각해 봅시다! 태그에는 사고 과정을, 태그에는 답을 하나의 숫자로 입력합니다.

ToM 실행 로직

1. 처음에 이해하는 작업:

임무 설명: 원인 지역의 다른 캠핑족과 식량, 물, 장작을 추가로 얻기 위한 합의를 하고 있습니다. 각기 다른 유형의 소포에는 각기 다른 가치가 있습니다. 협상에 대한 자세한 정보를 받은 후 질문에 답해야 합니다.
다음은 협상에서 사용할 수 있는 식량, 물, 장작 꾸러미의 개수로, 태그에 표시되어 있습니다. 식량 꾸러미: 3개 물 꾸러미: 3개 장작 꾸러미: 3개
태그에 표시된 각 소포 유형에 따라 적립할 수 있는 포인트는 다음과 같습니다. 식료품 소포: 3포인트 물 소포: 5포인트 장작 소포: 4포인트
질문: 질문당 소포 한 개는 몇 점의 가치가 있나요? 키는 질문(음식, 물, 장작)을 나타내고 값은 해당 답변을 나타내는 태그가 포함된 json 형식으로 답변해 주세요.

2. 진행 중인 주석 작업:

미션 설명: 파트너와 더 많은 책, 모자, 공을 구매하기 위해 협상을 하고 있습니다. 아이템의 종류에 따라 가치가 달라집니다. 협상에 대한 자세한 정보가 제공된 후 질문에 답해야 합니다.
다음은 협상에서 얻을 수 있는 책, 모자, 공의 개수로, 태그에 표시되어 있습니다. 책: 3 모자: 1 공: 2.
태그에 표시된 각 아이템 유형에 따라 적립할 수 있는 포인트는 다음과 같습니다. 각 책: 1포인트 각 모자: 5포인트 각 공: 1포인트
다음은 태그에 표시된 협상 과정의 인용문입니다. 유: 책을 원하시면 모자와 공을 가져다 드릴게요.
질문: 화자가 태그로 나눈 각 제안에서 몇 개의 항목을 얻을 수 있나요? 키는 질문(책, 모자, 공)을 나타내고 값은 해당 답변을 나타내는 태그가 포함된 json 형식의 답변입니다. 질문에 대한 답이 명확하지 않은 경우 NA를 입력하세요.

3. 단계가 끝날 때의 작업에 대한 이해:

임무 설명: 이웃 야영자와 식량, 물, 장작을 추가로 공급받기 위해 협상을 진행해야 합니다. 소포의 종류에 따라 가치가 다르며, 협상에 대한 자세한 정보가 제공되고 질문에 답해야 합니다.
협상 중에 이용할 수 있는 식량, 물, 장작 꾸러미의 개수로, 태그에 기록됩니다. 식량 꾸러미: 3 물 꾸러미: 3 장작 꾸러미: 3
태그에 표시된 각 소포 유형에 따라 적립할 수 있는 포인트 수입니다. 식료품 소포: 3포인트 물 소포: 5포인트 장작 소포: 4포인트
다음은 태그에 표시된 전체 대화입니다. ...
질문: 최종 거래에서 각 품목을 얼마만큼 받으셨나요? 키는 질문(식량, 물, 장작)을 나타내고 값은 해당 답변을 나타내는 태그가 포함된 json 형식으로 답변해 주세요. 합의가 이루어지지 않은 경우, 모든 질문에 대해 답변에 NA를 입력하세요.

4. 연쇄 사고 프롬프트:

미션 설명: 이웃 캠핑족과 식량, 물, 장작을 공급받기 위해 협상을 진행해야 합니다. 각기 다른 유형의 소포는 각기 다른 가치를 가지며, 협상에 대한 자세한 정보가 제공되고 질문에 답해야 합니다.
협상 중에 이용할 수 있는 식량, 물, 장작 꾸러미의 개수로, 태그에 기록됩니다. 식량 꾸러미: 3 물 꾸러미: 3 장작 꾸러미: 3
태그에 표시된 각 소포 유형에 따라 적립할 수 있는 포인트 수입니다. 식료품 소포: 3포인트 물 소포: 5포인트 장작 소포: 4포인트
다음은 태그에 표시된 전체 대화입니다. ...
질문: 협상이 끝날 때까지 총 몇 점을 얻었나요?
참고: 한 번에 한 단계씩 생각하세요! 태그에 생각 과정을 기록하고, 태그에 숫자와 함께 답을 기록하세요.