Un nuevo enfoque del Prompting - Prompting analógico

Hoy he leído un interesante artículo titulado "TheGrandes modelos lingüísticos como razonadores analógicos Se menciona un nuevo enfoque de los Prompts: "Prompts analógicos".

Si está familiarizado con la ingeniería de pistas, seguro que ha oído hablar de la CoT (Cadena de Pensamiento), que puede mejorar significativamente la capacidad de razonamiento de los Grandes Modelos Lingüísticos (LLM). Sin embargo, al utilizar CoT, necesitamos proporcionar una guía relevante o ejemplos de razonamiento para guiar al modelo.

Los dos métodos de CoT comúnmente utilizados son: "CoT de 0 puntos" y "CoT de pocos puntos". El CoT de 0 puntos consiste en dar explícitamente los pasos de inferencia en la Prompt y dejar que el LLM se refiera a los pasos para completar la inferencia. El CoT de 0 puntos consiste en dar los pasos de razonamiento explícitamente en la Prompt, y dejar que el LLM se refiera a los pasos para completar el razonamiento. El CoT de pocos puntos consiste en dar un pequeño número de ejemplos, y dejar que el LLM se refiera a los ejemplos para completar el razonamiento.

Comparación de tres métodos de incitación

Por ejemplo, ahora hay una pregunta de matemáticas: "Hay un cuadrado cuyos cuatro vértices son (-2, 2), (2, -2), (-2, -6) y (-6, -2), ¿cuál es el área de este cuadrado? "

Si no usas CoT, entonces sólo estás lanzando el problema al LLM y dejando que él encuentre la respuesta. Este problema debería poder resolverse para GPT-4, pero es probable que sea erróneo para GPT-3.5, y más aún para otros modelos con razonamientos más débiles.

Si utiliza un CoT de 0 tiros, entonces es un caso de dar los pasos de inferencia explícitamente dentro del Prompt, por ejemplo:

Siga los pasos que se indican a continuación para realizar el cálculo:
1, calcula primero la distancia entre dos vértices adyacentes cualesquiera como la longitud del lado del cuadrado
2、Calcular el cuadrado de la longitud del lado para obtener el área cuadrada.

Siguiendo estos pasos se deberían obtener resultados correctos para un LLM con un GPT de 3,5.

Si utiliza CoT de pocos disparos, entonces está dando un pequeño número de ejemplos, por ejemplo:

P: He aquí un cuadrado cuyos cuatro vértices son (0, 0), (1, 1), (0, 1) y (1, 0) ¿Cuál es el área de este cuadrado?
R: Elegimos dos vértices vecinos de ella, digamos (0, 0) y (1, 1), calculamos sus distancias para obtener una longitud de arista de 1, y luego calculamos el cuadrado de la longitud de arista para obtener un área de 1.
P: Hay un cuadrado cuyos cuatro vértices son (-2, 2), (2, -2), (-2, -6) y (-6, -2). ¿Cuál es el área del cuadrado?

Damos explícitamente un ejemplo en el Prompt, diciéndole al LLM que debe seguir los pasos del ejemplo, para que sea capaz de obtener el resultado correcto para un LLM como GPT-3.5.

¿Qué es el "analogical cueing"?

Piensa en cuando aprendimos matemáticas en la escuela, si hacemos una pregunta de matemáticas como esta, pensaremos en si hemos hecho preguntas similares, especialmente para los solucionadores de problemas de pueblo pequeño como yo, no sé cuántos trabajos hice en aquel entonces, así que cuando veo la pregunta en el fondo de la sala, puedo recordar que he hecho una pregunta similar antes, y entonces puedo llegar a una respuesta muy rápidamente.

Para LLM, su reserva de conocimientos es más fuerte que la de los seres humanos, y ha acumulado todo tipo de conocimientos y casos durante su formación, así que lo que tenemos que hacer es "estimular" a LLM para que encuentre los conocimientos y casos relacionados con el problema, y luego los utilice para razonar y resolver el problema.

Así que el "método de la pista analógica" consiste en dejar que el LLM no se apresure a resolver el problema primero, sino que primero enumere una serie de ejemplos relacionados con el problema, y luego utilice estos ejemplos para razonar la solución del problema. Esto equivale a dejar que el LLM te ayude a escribir unos cuantos ejemplos, ayudándote a generar una cadena de pensamiento.

Es similar a cuando se obtiene un problema matemático y se le pide que primero siga ese problema matemático para encontrar ejemplos similares y respuestas de referencia, y luego se le pide que siga esos ejemplos y respuestas de referencia para resolver el problema original.

La estructura de Prompt es la siguiente:

Pregunta inicial: \
Problemas relacionados: Piense en tres problemas únicos relacionados y describa cada uno de ellos y su solución.
Resuelve el problema inicial:

Haga que el LLM, al recibir el problema, recuerde tres problemas relacionados y únicos y enumere cada problema y solución (preferiblemente con pasos), y asegúrese de imprimir los procesos intermedios. Cuando el LLM haya terminado de producir estos ejemplos relevantes, imprima de nuevo el problema original (para evitar que se olvide), de modo que el LLM pueda utilizar estos ejemplos relevantes para razonar sobre el problema original.

Una referencia completa a Prompt utilizando sugerencias análogas:

Tu tarea consiste en resolver problemas matemáticos. Cuando se te presente un problema de matemáticas, recuerda algunos temas relacionados como ejemplos. Después, vuelve atrás y resuelve el primero.

# La primera pregunta:

Una compañía aérea ofrece cena a todos los pasajeros del avión, que pueden elegir entre filete o pescado. Tres de los seis miembros de la tripulación pueden elegir filete y tres pescado. Si la comida se asigna al azar, ¿cuál es la probabilidad de que a los dos pilotos les toque el pescado?

# Guía de funcionamiento:

En su respuesta debe incluir los siguientes puntos:

## Preguntas relacionadas:

Piense en tres problemas matemáticos relacionados con el primer problema a modo de ejemplo. Tenga en cuenta que cada problema debe ser diferente de los demás, incluido el primero (por ejemplo, con números y nombres diferentes). Cada problema debe seguir el formato que se indica a continuación:

- "P:" seguido de una descripción del problema

- "A:" Seguido de la solución del problema y escriba la respuesta final en \boxed.

## Resuelve el problema desde el principio:

Di: "Vamos a resolver el siguiente problema de matemáticas". A continuación, responde con el siguiente formato:

P: Copie y pegue aquí la primera pregunta.

A: Explica la solución y escribe la respuesta final en \boxed.

LLM mostrará lo siguiente:

## Preguntas relacionadas:

### Pregunta 1:

- P: En una fiesta, todo el mundo puede elegir entre tarta de manzana o helado de vainilla. Cinco de las señoras pueden elegir tarta de manzana y cinco pueden elegir helado de vainilla. Si los postres se asignan al azar, ¿cuál es la probabilidad de que a las dos señoras les toque helado de vainilla?

- **A:** Utilice el cálculo combinatorio para resolver este problema. La forma total es elegir dos de cada cinco señoras que pueden elegir helado, que es \( \binom{5}{2} = 10 \) maneras. Y la distribución total es elegir dos de cada diez damas, que es \( \binom{10}{2} = 45 \) maneras. Así que la probabilidad es \( \frac{10}{45} = \frac{2}{9} \). La respuesta final es ( \frac{2}{9} \).

### Pregunta 2:

- **Q:** En una cena, cada persona puede elegir entre vino tinto o blanco. Hay cuatro hombres que pueden elegir vino tinto y cuatro hombres que pueden elegir vino blanco. Si los vinos se asignan al azar, ¿cuál es la probabilidad de que los tres hombres elijan vino blanco?

- **A:** Utilizando un método similar, se eligen tres hombres de entre los cuatro que pueden elegir vino blanco de \( \binom{4}{3} = 4 \) maneras. Y la distribución total se hace eligiendo tres de ocho hombres, es decir, \( \binom{8}{3} = 56 \) maneras. Así que la probabilidad es \( \frac{4}{56} = \frac{1}{14} \). La respuesta final es ( \frac{1}{14}} \frac{1}{14}}).

### Pregunta 3:

- **Q:** En la cafetería, cada persona puede elegir entre un café con leche o un capuchino. Tres clientes pueden elegir un café con leche y tres clientes pueden elegir un capuchino. ¿Cuál es la probabilidad de que un cliente obtenga un capuchino si el café se asigna al azar?

- **A:** En este caso, hay \( \binom{3}{1} = 3 \) formas de elegir un cliente que puede tomar un capuchino. La asignación total es elegir un cliente de entre seis, es decir, \( \binom{6}{1} = 6 \) maneras. Por tanto, la probabilidad es \( \frac{3}{6} = \frac{1}{2} \). La respuesta final es ( \frac{1}{2}} \frac{1}{2}}).

## Resolvamos el siguiente problema matemático.

### P: Una compañía aérea ofrece cena a todos los pasajeros de un avión, que pueden elegir entre filete o pescado. Tres de los seis miembros de la tripulación pueden elegir filete y tres pescado. Si la comida se asigna al azar, ¿cuál es la probabilidad de que a los dos pilotos les toque el pescado?

### R: Podemos utilizar una solución similar para este problema. Tenemos tres pilotos que pueden elegir los peces, y queremos elegir dos de ellos. Esto se hace de \( \binom{3}{2} = 3 \) maneras. La distribución total es dos de seis pilotos, que es \( \binom{6}{2} = 15 \) maneras. Así que la probabilidad es \( \frac{3}{15} = \frac{1}{5} \). La respuesta final es ( \frac{1}{5}} \frac{1}{5}}).