프롬프트에 대한 새로운 접근 방식 - 아날로그 프롬프트

오늘 흥미로운 논문을 읽었습니다.유추 추론자로서의 대규모 언어 모델 프롬프트에 대한 새로운 접근 방식인 '아날로그 프롬프트'가 언급되었습니다.

큐 엔지니어링에 익숙하다면 LLM(대규모 언어 모델)의 추론 능력을 크게 향상시킬 수 있는 CoT(Chain of Thought)에 대해 들어보셨을 것입니다. 그러나 CoT를 사용할 때는 모델을 안내하기 위해 관련 지침이나 추론 예제를 제공해야 합니다.

일반적으로 사용되는 두 가지 CoT 방법은 "0 샷 CoT"와 "몇 샷 CoT"입니다. 0 샷 CoT는 프롬프트에 추론 단계를 명시적으로 제공하고 LLM이 추론을 완료하기 위해 단계를 참조하도록 하는 것입니다. 0-shot CoT는 프롬프트에 추론 단계를 명시적으로 제공하고 LLM이 추론 단계를 참조하여 추론을 완료하도록 하는 것이고, few-shot CoT는 적은 수의 예제를 제공하고 LLM이 예제를 참조하여 추론을 완료하도록 하는 것입니다.

세 가지 프롬프트 방법 비교

예를 들어 "네 꼭지점이 (-2, 2), (2, -2), (-2, -6), (-6, -2인 정사각형이 있는데, 이 정사각형의 넓이를 구하세요?"라는 수학 문제가 출제될 수 있습니다. "

CoT를 사용하지 않는다면 LLM에 문제를 던져주고 답을 찾도록 내버려두는 것과 같습니다. 이 문제는 GPT-4에서는 해결할 수 있지만 GPT-3.5에서는 틀릴 가능성이 높으며 추론이 약한 다른 모델에서는 더더욱 그럴 수 있습니다.

예를 들어 0샷 CoT를 사용하는 경우 프롬프트 내부에 추론 단계를 명시적으로 제공하는 경우입니다:

계산하려면 아래 단계를 따르세요:
1, 먼저 인접한 두 꼭지점 사이의 거리를 정사각형의 변의 길이로 계산합니다.
2, 측면 길이의 제곱을 계산하여 정사각형 면적을 얻습니다.

이 단계를 따르면 GPT가 3.5인 LLM에 대해 올바른 결과를 얻을 수 있습니다.

예를 들어 소수 샷 CoT를 사용하는 경우, 예를 들어 적은 수의 예제를 제공합니다:

질문: 네 꼭지점이 (0, 0), (1, 1), (0, 1), (1, 0)인 정사각형이 있는데, 이 정사각형의 넓이는 얼마인가요?
A: (0, 0)과 (1, 1)과 같이 인접한 두 개의 정점을 선택하고 거리를 계산하여 가장자리 길이를 1로 구한 다음 가장자리 길이의 제곱을 계산하여 면적 1을 구합니다.
질문: 네 꼭지점이 (-2, 2), (2, -2), (-2, -6), (-6, -2)인 정사각형이 있는데, 이 정사각형의 넓이는 얼마인가요?

프롬프트에 예제를 명시적으로 제공하여 LLM이 예제의 단계를 따라야 한다는 것을 알려주므로 GPT-3.5와 같은 LLM에 대해 올바른 결과를 얻을 수 있습니다.

그렇다면 '아날로그 큐잉'이란 무엇일까요?

우리가 학교에서 수학을 배울 때를 생각해보면, 이런 수학 문제를 풀면 비슷한 문제를 해본 적이 있는지, 특히 저 같은 소도시 문제 풀이꾼은 그때 몇 문제를 했는지 모르기 때문에 뒤에 있는 문제를 보면 비슷한 문제를 해본 적이 있다는 것을 기억할 수 있고, 그러면 굉장히 빨리 답을 떠올릴 수 있습니다.

LLM의 경우 지식 보유량이 인간보다 강하고 훈련 과정에서 온갖 지식과 사례를 축적했기 때문에 우리가 해야 할 일은 LLM이 문제와 관련된 지식과 사례를 찾도록 '자극'한 다음 이를 활용해 문제를 추론하고 해결하는 것입니다.

따라서 '유추적 힌트 방법'은 LLM이 문제를 먼저 풀려고 서두르지 않고 먼저 문제와 관련된 여러 가지 예를 나열한 다음 이러한 예를 사용하여 문제를 해결하기 위해 추론하도록 하는 것입니다. 이는 마치 LLM이 글쓰기를 도와주면서 생각의 연결 고리를 만들 수 있도록 도와주는 것과 같습니다.

수학 문제가 주어졌을 때 먼저 해당 수학 문제를 따라 비슷한 예제와 참고 답을 찾은 다음, 그 예제와 참고 답을 따라 원래 문제를 풀도록 요청하는 것과 비슷합니다.

프롬프트의 구조는 다음과 같습니다:

초기 질문: \
관련 문제: 관련된 고유한 문제 세 가지를 떠올리고 각 문제와 그 해결책을 설명하세요.
초기 문제를 해결하세요:

LLM이 문제를 받으면 관련되고 고유한 문제 세 개를 떠올리게 하고 각 문제와 해결책을 단계별로 나열하고 중간 과정을 반드시 인쇄하도록 합니다. LLM이 관련 예제 출력을 마치면 원래 문제를 다시 출력하여(잊어버리지 않도록) LLM이 관련 예제를 사용하여 원래 문제를 추론할 수 있도록 합니다.

유사한 힌트를 사용하는 프롬프트에 대한 전체 참조입니다:

여러분의 과제는 수학 문제를 푸는 것입니다. 수학 문제가 제시되면 몇 가지 관련 주제를 예로 떠올려 보세요. 그런 다음 처음으로 돌아가서 첫 번째 문제를 풀어보세요.

# 첫 번째 질문입니다:

한 항공사는 비행기에 탑승한 모든 승객에게 스테이크 또는 생선 중 하나를 선택할 수 있는 저녁 식사를 제공합니다. 6명의 승무원 중 3명은 스테이크를, 3명은 생선을 선택할 수 있습니다. 음식이 무작위로 배정될 경우, 두 조종사 모두 생선을 선택할 확률은 얼마인가요?

# 운영 가이드:

답변에는 다음 사항이 반드시 포함되어야 합니다:

## 관련 질문:

첫 번째 문제와 관련된 수학 문제 세 개를 예로 생각해 보세요. 각 문제는 첫 번째 문제를 포함하여 다른 문제와 달라야 합니다(예: 다른 숫자와 이름 포함). 각 문제는 아래 형식을 따라야 합니다:

- "Q:"와 문제 설명이 이어집니다.

- "A:" 다음에 문제에 대한 해결책을 입력하고 \boxed에 최종 답을 작성합니다.

## 맨 처음에 문제를 해결하세요:

"다음 수학 문제를 풀어 봅시다."라고 말합니다. 그런 다음 다음 형식으로 답하세요:

Q: 첫 번째 질문을 복사하여 여기에 붙여넣습니다.

A: 해결책을 설명하고 최종 답안을 \boxed에 작성합니다.

LLM은 다음을 출력합니다:

## 관련 질문:

### 질문 1:

- 질문: 파티에서 모든 사람이 애플 파이와 바닐라 아이스크림 중 하나를 선택할 수 있습니다. 여성 중 5명은 애플 파이를, 여성 중 5명은 바닐라 아이스크림을 선택할 수 있습니다. 디저트가 무작위로 배정된다면 두 여성 모두 바닐라 아이스크림을 먹을 확률은 얼마인가요?

- 답: 조합 계산을 사용하여 이 문제를 해결하십시오. 총 방법은 아이스크림을 선택할 수 있는 5명의 여성 중 2명을 선택하는 것으로, \( \binom{5}{2} = 10 \) 방법입니다. 그리고 총 분포는 10명의 여성 중 2명을 선택하는 것으로, \( \binom{10}{2} = 45 \) 방식입니다. 따라서 확률은 \( \frac{10}{45} = \frac{2}{9} \) 입니다. 최종 답은 \( \boxed{\frac{2}{9}} \) 입니다.

### 질문 2:

- 질문: 저녁 파티에서 각 사람이 레드 또는 화이트 와인을 선택할 수 있습니다. 레드 와인을 선택할 수 있는 남자는 네 명, 화이트 와인을 선택할 수 있는 남자는 네 명입니다. 와인이 무작위로 배정될 경우 세 사람 모두 화이트 와인을 받을 확률은 얼마인가요?

- 답: 비슷한 방법으로 화이트 와인을 선택할 수 있는 네 명의 남자 중에서 세 명의 남자를 \( \binom{4}{3} = 4 \) 방식으로 선택합니다. 그리고 총 분포는 8명의 남자 중 3명을 선택함으로써, 즉 \( \binom{8}{3} = 56 \) 방식으로 이루어집니다. 따라서 확률은 \( \frac{4}{56} = \frac{1}{14} \) 입니다. 최종 답은 \( \boxed{\frac{1}{14}} \) 입니다.

### 질문 3:

- Q:** 카페에서 각 사람은 라떼 또는 카푸치노 중 하나를 선택할 수 있습니다. 세 명의 손님은 라떼를, 세 명의 손님은 카푸치노를 선택할 수 있습니다. 커피가 무작위로 배정될 경우 한 고객이 카푸치노를 받을 확률은 얼마인가요?

- 답:** 이 경우 카푸치노를 마실 수 있는 고객 한 명을 선택하는 방법은 \( \binom{3}{1} = 3 \) 가지가 있습니다. 총 할당은 6개의 방법, 즉 \( \binom{6}{1} = 6 \) 개의 방법 중에서 한 명의 고객을 선택하는 것입니다. 따라서 확률은 \( \frac{3}{6} = \frac{1}{2} \) 입니다. 최종 답은 \( \boxed{\frac{1}{2}} \) 입니다.

## 다음 수학 문제를 풀어 봅시다.

### 질문: 한 항공사가 항공기의 모든 승객에게 스테이크 또는 생선 중 하나를 선택할 수 있는 저녁 식사를 제공합니다. 6명의 승무원 중 3명은 스테이크를, 3명은 생선을 선택할 수 있습니다. 음식이 무작위로 배정될 경우 두 조종사가 모두 생선을 선택할 확률은 얼마인가요?

### A: 이 문제에도 비슷한 해결책을 사용할 수 있습니다. 물고기를 선택할 수 있는 파일럿이 세 명이고, 그 중 두 명을 선택하려고 합니다. 이것은 \( \binom{3}{2} = 3 \) 방식으로 수행됩니다. 총 분포는 6명의 파일럿 중 2명이므로 \( \binom{6}{2} = 15 \) 방식입니다. 따라서 확률은 \( \frac{3}{15} = \frac{1}{5} \) 입니다. 최종 답은 \( \boxed{\frac{1}{5}} \) 입니다.