El mejor contenido de podcast de debate sobre Prompt Engineering visto hasta la fecha.

Resumen de la IA

esbozado

AI Consejos Ingeniería El debate en profundidad se desarrolló en forma de mesa redonda con varios participantes del Antrópico de expertos compartieron sus conocimientos y experiencia práctica en ingeniería de señales desde distintas perspectivas, como la investigación, el consumo y la empresa.

El artículo detalla la definición de ingeniería del taco, su importancia y cómo convertirse en un buen ingeniero del taco.

La idea central es que la ingeniería de pistas es algo más que la simple introducción de texto, sino un proceso que requiere una iteración constante, experimentación y una comprensión más profunda de la psicología del modelo.

Implica cómo comunicarse eficazmente con los modelos de IA e integrarlos en el sistema general.

También se exploran las similitudes entre la ingeniería de pistas y la programación, así como los distintos énfasis en diferentes escenarios de aplicación (por ejemplo, investigación, empresa y diálogo cotidiano).

guiones bajos Comunicación clara, capacidad de iteración y observación meticulosa de los resultados del modelo. Es la clave para impulsar el proyecto.

Los expertos también hablaron de los retos que plantean las aplicaciones prácticas y compartieron valiosas experiencias y consejos, como la forma de tratar los casos extremos, de utilizar la información de los propios modelos para mejorar las pistas y de distinguir entre distintos tipos de modelos.

En pocas palabras.Este artículo ofrece a los lectores una guía completa y perspicaz de la ingeniería de urgencia y una mirada a las direcciones futuras..

Puntos clave

• La ingeniería del taco es un proceso de comunicación clara con un modelo y de iteración para maximizar su potencial.
• En el corazón de la ingeniería está la experimentación y el ensayo y error, la capacidad de volver atrás y probar distintos enfoques desde cero.
• Los avisos no son sólo texto, sino un enfoque de programación integrado en el sistema global que requiere tener en cuenta las fuentes de datos, la latencia y el diseño del sistema.
• Los buenos ingenieros de orientación deben ser capaces de comunicarse con claridad, iterar y analizar en profundidad los resultados de los modelos.
• Comprender la "mente" del modelo es fundamental y hay que tener en cuenta cómo interpreta las instrucciones.

Ideas innovadoras

• Piensa en la palabra escrita como en un código, y considera que escribir una buena redacción es tan importante como escribir un código.
• Se hace hincapié en la importancia de leer el resultado del modelo, de forma similar a "mirar los datos" en el aprendizaje automático.
• Proponer el uso de modelos para ayudar a optimizar las pistas, o incluso permitir que los modelos señalen sus propios errores.
• Se argumenta que explicar la tarea directamente al modelo, en lugar de fingir ser un personaje, es más eficaz en muchos casos.
• El futuro de la ingeniería de pistas se centrará más en obtener información del usuario, y los modelos desempeñarán el papel de guías.

Citas y traducciones clave

Original 1: Creo que la parte de ingeniería viene de la prueba y error. - Ok. - Así que una cosa realmente buena de hablar con un modelo que no es como hablar con una persona Así que una cosa muy buena de hablar con un modelo que no es como hablar con una persona, es que tienes este botón de reinicio.

Traducción: Creo que la parte de "ingeniería" viene del ensayo y error. Bueno, una de las grandes diferencias entre hablar con un modelo y hablar con una persona es que tienes un botón de reinicio. Este botón gigante te devuelve a la casilla de salida y empieza de cero.

Motivo de la cita: Esta cita señala elocuentemente el significado de "ingeniería" en la ingeniería de indicios, y subraya la importancia de la experimentación y la iteración continuas para mejorar los indicios, que es la clave para diferenciar la ingeniería de indicios de otras formas de comunicación.

Original 2: Pienso en las indicaciones como la forma de programar modelos un poco, eso lo hace demasiado complicado. Porque creo que Zack tiene razón en general en que es sólo Pero si lo piensas un poco como programar un modelo, tienes que pensar de dónde vienen los datos, a qué datos a los que tienes acceso... (párrafo 7)

Traducción: Creo que las pistas son algo así como una forma de programar el modelo, aunque sea un poco complicado decirlo. Porque creo que Zack tiene razón, lo importante es una comunicación clara. Pero si piensas en las indicaciones como programar un modelo, tienes que pensar de dónde vienen los datos y a qué datos tienes acceso.

Motivo de la cita: Este pasaje vincula el cueing con la programación, subrayando que el cueing no es sólo cuestión de lenguaje, sino que requiere un pensamiento sistémico que incluya factores como los datos, la latencia y la integración de sistemas.

Así que creo que puedo confiar en el modelo si miro sus 100 resultados y es realmente consistente. Y sé que los he construido para averiguar básicamente todos los casos extremos y todas las cosas raras que el modelo podría hacer, entradas extrañas, etcétera. Y sé que los he construido para averiguar básicamente todos los casos de borde y todas las cosas raras que el modelo podría hacer, entradas extrañas, etcétera. Confío en eso probablemente más que en un conjunto mucho más laxo de varios miles.

Traducción: Así que si miro 100 resultados de un modelo y son muy consistentes, y sé que he construido esos resultados para averiguar todos los casos extremos y cosas raras que el modelo podría hacer y entradas extrañas y así sucesivamente, voy a confiar en ese modelo, probablemente más que en miles de resultados vagamente construidos.

Motivo de la cita: Este pasaje subraya el valor de los pequeños conjuntos de datos de alta calidad frente a los grandes conjuntos de datos de baja calidad. En la ingeniería de pistas, la atención debe centrarse en la consideración adecuada de los casos límite en lugar de perseguir a ciegas un gran número de muestras.

Notas de lectura

[Pistas sobre la naturaleza de la ingeniería]: Iteración y experimentación

• La ingeniería de pistas es el proceso de optimización de los resultados de los modelos mediante ensayo y error e iteración.
• Hace hincapié en la gestión y el seguimiento de los experimentos como si estuvieran programados.
• Una comunicación clara es la base de la ingeniería del taco.

#écnica de ensayo #iteración #experimentación

[Cualidades de un ingeniero del taco]: Comprensión y observación

• Se requieren habilidades de comunicación claras y voluntad de iterar.
• Requiere un profundo conocimiento del modelo y la capacidad de aprender de sus resultados.
• Necesidad de tener en cuenta la diversidad de escenarios prácticos de uso y las aportaciones de los usuarios..

1TP5Comunicación 1TP5Comprensión 1TP5Observación

[Interacción modelo]: confianza y desafío

• No hay que confiar ciegamente en los modelos y su fiabilidad debe comprobarse y verificarse constantemente.
• Los modelos pueden utilizarse para autodiagnosticar errores y proponer mejoras..
• Los modelos pueden ayudar a los usuarios a comprender mejor las tareas y a recibir indicaciones.

1TP5Confianza 1TP5Retroalimentación 1TP5Colaboración

• Proceso de ingeniería del taco::

开始 --> 编写初始提示 --> 模型输出 --> 分析结果 --> 修改提示 --> 循环直至满意

Al igual que en un proceso cíclico, las puntas se mejoran constantemente para lograr el resultado deseado.

• evaluación de modelos::

|  输出一致性 | 边缘情况覆盖 | 输入多样性 |
|------------|------------|------------|
|    高       |     高      |     高     |

• Cuanto más altas sean las tres dimensiones clave: coherencia, cobertura de casos extremos y diversidad de entradas, mejor.

Consejos para el futuro de la ingeniería

用户需求 --> 模型理解 --> 模型提问 --> 用户反馈 --> 优化提示 --> 最终输出

• En la futura ingeniería de señales, los modelos participarán más activamente en el proceso de comprensión de los requisitos del usuario y la optimización de las señales.

Preguntas y respuestas sobre cuestiones esenciales

1. ¿Qué es un proyecto prompt?

Ingeniería Prompt es una técnica para guiar grandes modelos lingüísticos (LLM) en la realización de tareas específicas mediante el diseño y la optimización de instrucciones (Prompts). Su objetivo es permitir que el modelo produzca el resultado deseado mediante una comunicación clara y precisa. A continuación se ofrece una explicación detallada de la ingeniería de prompts:

Definición de indicaciones

• directivasAviso: Un aviso es una instrucción que el usuario da al modelo para que realice una tarea específica. Puede ser una simple frase o una descripción compleja que contenga múltiples pasos.
• actasSugerencias: las sugerencias también pueden considerarse un procedimiento, escrito en lenguaje natural, para guiar al modelo en la realización de una tarea.
• método de comunicaciónEn esencia, las indicaciones son una forma de comunicación con el modelo, similar a la comunicación con una persona, y deben ser claras y sin ambigüedades.

Los elementos centrales del proyecto

• comunicación claraLa ingeniería rápida hace hincapié en una comunicación clara para que los usuarios puedan expresar sus necesidades con precisión y para que el modelo pueda comprender los requisitos específicos de la tarea.
• proceso iterativoLa ingeniería de indicios es un proceso iterativo que implica probar, modificar y optimizar continuamente los indicios para mejorar el rendimiento de un modelo. Es similar al proceso de desarrollo y depuración de la ingeniería informática.
  • pruebaObserva la respuesta del modelo probando diferentes pistas y ajustando las pistas en función de los resultados.
  • devolver informaciónAnaliza los resultados del modelo, identifica los errores y corrige en consecuencia.
  • cicloRepite la experimentación y la retroalimentación hasta obtener el resultado deseado.
• pensamiento sistémicoLa ingeniería de avisos no consiste sólo en escribir avisos individuales, sino también en considerar cómo se integran los avisos en el sistema global. Para ello hay que tener en cuenta el origen de los datos, cómo se procesan y el papel del modelo en el sistema.
• Dar sentido a los modelosLos ingenieros de señalización tienen que entender cómo funcionan los modelos y sus limitaciones para diseñar mejor las señales. Esto incluye entender cómo maneja el modelo los distintos tipos de entradas y cómo guiar el proceso de razonamiento del modelo.
• Capacidad de resolución de problemasConsejo Los ingenieros deben considerar sistemáticamente todos los escenarios posibles y darles solución como si estuvieran resolviendo un problema de ingeniería.
  • error de previsiónPredecir cómo puede fallar el modelo e idear pistas adecuadas para hacer frente a estos errores.
  • Casos extremosConsidera cómo reacciona el modelo cuando encuentra entradas inusuales o errores.
• control de versiones: Trata las pistas como si fueran código, incluido el control de versiones, el seguimiento de experimentos, etc.
• Lectura de los resultados del modeloLee atentamente los resultados del modelo para comprender su proceso de razonamiento, no sólo para ver si son correctos.
• pensamiento teóricoPara entender un modelo, hay que tener en cuenta cómo podría entender el modelo tus instrucciones a nivel teórico, no sólo escribirlas basándote en tu propia comprensión.

Objetivo del proyecto de recordatorio

• Liberar el potencial de la modelizaciónEl objetivo de la ingeniería de indicios es aprovechar todo el potencial de un modelo para que pueda realizar tareas que superen las capacidades de su diseño original.
• Optimizar el rendimiento de los modelosMejorar el rendimiento del modelo en tareas específicas mediante señales bien diseñadas.
• Orientar el comportamiento de los modelosGuía de comportamiento: Guiar el comportamiento del modelo mediante señales que le permitan producir resultados deseados y evitar resultados no deseados.

Desafíos de la ingeniería del taco

• Dificultad para articularEl objetivo: es difícil describir una tarea con precisión en palabras y eliminar todas las suposiciones.
• Las modelos no hacen preguntas.Los modelos no hacen preguntas aclaratorias como los humanos, por lo que los ingenieros de cueing tienen que anticiparse a las posibles consultas de los modelos y dar las respuestas adecuadas en el cue.
• La dificultad de encontrar el consejo perfectoEl consejo perfecto: encontrar el consejo perfecto puede ser todo un reto, ya que siempre existe la posibilidad de un consejo mejor.

Aplicaciones de ingeniería del taco

• Varias escenasLa ingeniería Cue puede aplicarse en diversos escenarios, como la investigación, las aplicaciones empresariales y las aplicaciones de consumo.
• Diferentes tipos de tareasLos proyectos Prompt pueden utilizarse para distintos tipos de tareas, como la generación de texto, la extracción de información, la respuesta a preguntas y la generación de código.
• Integración en los sistemasLa ingeniería de avisos no consiste sólo en escribir avisos individuales, sino también en integrar avisos en el sistema general.

Consejos para el futuro de la ingeniería

• Sugerencias asistidas por modelosEn el futuro, el modelo podrá ayudar a los usuarios a redactar mejores avisos, lo que incluirá formular preguntas, ofrecer sugerencias y generar avisos automáticamente.
• colaboración hombre-máquinaEn el futuro, la ingeniería de claves puede evolucionar hacia un modelo de colaboración persona-ordenador, en el que el modelo formule preguntas basadas en los objetivos del usuario y le guíe para escribir claves más eficaces.
• De la orientación al asesoramientoEl modelo de orientación: a medida que los modelos se hacen más inteligentes, la ingeniería de las señales puede pasar de un modelo de orientación a un modelo de asesoramiento, en el que el modelo da señales al usuario en sentido inverso en función de los objetivos de éste.

La ingeniería de indicios es una técnica que requiere creatividad, pensamiento lógico y pensamiento sistémico. No se trata sólo de escribir una buena indicación, sino de entender el modelo, diseñar experimentos, optimizar iterativamente y resolver problemas. Los ingenieros de indicios tienen que experimentar y aprender como ingenieros para aprovechar todo el potencial de un modelo.

2. ¿Cuáles son las cualidades de un buen ingeniero de taco?

• Capacidad de comunicación claraBuen ingeniero de instrucciones: un buen ingeniero de instrucciones es capaz de articular ideas con claridad, comprender las tareas con claridad y describir los conceptos con precisión. Esto incluye la capacidad de construir instrucciones de forma que sean fáciles de entender para el modelo.
• Capacidades iterativasEstán dispuestos a iterar y ajustar continuamente las indicaciones y a reflexionar sobre las posibles interpretaciones erróneas del modelo. Este proceso iterativo implica analizar la respuesta del modelo, identificar errores y hacer correcciones.
• Casos extremos de pruebaEl objetivo es que piensen activamente en las situaciones menos habituales en las que la señal puede fallar, como cuando la entrada es nula o no está en el formato esperado. Esto implica probar diversas excepciones para asegurarse de que el modelo funciona correctamente en diferentes situaciones.
• Comprender los resultados de los modelosLos buenos ingenieros de cueing prestan mucha atención a la producción del modelo, no sólo a los resultados. Se adentrarán en el proceso de pensamiento del modelo e intentarán comprender su razonamiento.
• pensamiento teóricoSon capaces de extraer de su propia comprensión y desglosar sistemáticamente toda la información necesaria para completar la tarea. Son capaces de comunicar con claridad la información necesaria de forma que el modelo pueda entenderse.
• empatíaSon capaces de ponerse en el lugar del modelo y comprender cómo percibe éste sus instrucciones. También deben tener en cuenta las necesidades del usuario y entender cómo interactúa éste con el modelo.
• mentalidad experimentalDescubren los límites del modelo mediante la experimentación constante y el ensayo y error. No temen el fracaso y aprenden de él, profundizando en su comprensión del modelo al ampliar los límites de sus capacidades...
• Mejoras mediante modelizaciónMejorarán las instrucciones no sólo con sus propios esfuerzos, sino también utilizando el propio modelo. Por ejemplo, pedirán al modelo que señale ambigüedades en las instrucciones o le pedirán que sugiera cambios. Intentarán que el modelo explique sus errores y mejore las instrucciones.
• Confiar pero verificarSon prudentes en cuanto a las capacidades del modelo y garantizan su fiabilidad mediante pruebas repetidas. Validan los resultados del modelo mediante pruebas exhaustivas en lugar de confiar ciegamente en él.
• escrutinioLeerán atentamente las instrucciones y los resultados del modelo y analizarán los detalles. Aprenderán cómo piensa el modelo analizando los detalles del resultado del modelo.
• No obsesionarse con la perfecciónEn lugar de buscar el estímulo perfecto, seguirán intentándolo y aprendiendo de sus errores. Reconocerán que la orientación es un proceso iterativo y no una tarea puntual.
• Tratar el texto como códigoPueden entender el significado de texto como código y comprender que las pistas también necesitan control de versiones, seguimiento de experimentos, etc.
• Capacidad para pensar desde distintas perspectivasLos buenos ingenieros de cueing pueden plantearse las cosas desde distintas perspectivas, por ejemplo, poniéndose en la piel del modelo y teniendo en cuenta las necesidades del usuario real.
• Capacidad para crear nuevos conceptosDefinirán nuevos conceptos cuando sea necesario y los harán explícitos trabajando con modelos.
• Capacidad para exteriorizar ideas: Pueden expresar sus ideas con claridad y traducir conceptos complejos de su cerebro en instrucciones que los modelos puedan entender.

Los buenos ingenieros de señales no sólo son buenos comunicadores e iterativos, sino también empáticos, capaces de ponerse en la piel del modelo y de experimentar y aprender continuamente, descubriendo los límites del modelo mediante pruebas de casos extremos. También utilizarán el propio modelo para mejorar las pistas y aprender de los detalles del resultado del modelo. Tienen que entender que el proceso para llegar al indicio es iterativo, en lugar de buscar la perfección, y tienen que comprender las similitudes entre el texto y el código. Tienen que pensar en ello desde distintas perspectivas, tanto desde el punto de vista de la experiencia del usuario como de la forma en que se percibe el propio modelo. Y lo que es más importante, tienen que ser capaces de articular sus ideas y exteriorizar los conceptos en su cerebro.

3. ¿Cómo interactuar eficazmente con el modelo?

3.1 La comunicación clara es fundamental

• Expresión precisa de las necesidades: Al igual que cuando te comunicas con la gente, tienes que expresar claramente tus necesidades para que la modelo entienda exactamente lo que pretendes.Evitar instrucciones ambiguasIntente ser lo más específico posible al describir lo que espera que consiga el modelo.
• Aclare los detalles de la tarea: Lo necesitas.Desmonta todas tus suposiciones.y detallar toda la información que el modelo necesita saber.No des por sentado que el modelo sabe algo que no le hayas dicho explícitamente..

3.2 Considere la indicación como un procedimiento

• Código de lenguaje natural: Un prompt puede considerarse un procedimiento escrito en lenguaje natural para guiar al modelo a través de una tarea.
• Pensamiento sistémico: Tratar las indicaciones como códigoEl control de las versiones, el seguimiento de los experimentos, etc. Hay que tener en cuenta cómo encajan los indicios en el sistema global, incluidas las fuentes de datos, el procesamiento de datos y el papel del modelo en el sistema.

3.3 Adoptar la iteración y la experimentación

• La prueba y el error son la norma: La ingeniería de pistas es un proceso de ensayo y error que implica probar constantemente diferentes pistas y ajustarlas en función de la información que proporciona el modelo.
• Botón de reinicio: El modelo tiene un "botón de reinicio" para que puedas volver al principio en cualquier momento y probar un enfoque diferente desde cero, sin que te molesten los experimentos anteriores.
• Iterar con frecuencia: Una ingeniería de cueing eficaz requiere una interacción frecuente con el modelo para múltiplesiterar hacia delante y hacia atrásen lugar de esperar resultados perfectos de golpe.

3.4 Comprender la mente del modelo

• Perspectivas de modelización: Intente pensar en sus instrucciones desde el punto de vista del modelo y comprenda cómo éste podría entender sus requisitos. Para ello es necesarioReproducción del modelodel personaje, imitando su forma de pensar.
• Lee la salida del modelo: Lea atentamente los resultados del modelo, centrándose no sólo en si son correctos, sino también en comprender el proceso de razonamiento del modelo.Aprender de los resultadosComprenda cómo entiende el modelo sus instrucciones.
• Explora el error del modelo: No ignores los errores que comete el modelo.Preguntar por qué el modelo es erróneoe intentar comprender la causa del error, e incluso puede pedir al modelo que modifique las instrucciones. A veces, los modelos son capaces de señalar ambigüedades en las instrucciones y dar sugerencias para mejorarlas.

3.5 Casos extremos

• Error de predicción: Anticipar situaciones en las que el modelo podría ir maly diseña las señales adecuadas para gestionar estos errores. Piensa, por ejemplo, en cómo reacciona el modelo cuando encuentra entradas o errores inusuales:
  • Ofrezca opciones: Si el modelo no está seguro de qué hacer con determinadas entradas, dale una "salida", por ejemplo, deja que emita la etiqueta "no estoy seguro".
  • Prueba de extremos: Pruebe sus mensajes con una variedad de extremos (por ejemplo, cadenas vacías, entradas que no coinciden con las expectativas) para asegurarse de que el modelo funciona bien en una variedad de situaciones.

3.6 Capacidad para respetar los modelos

• No subestimes el modelo: No pienses que el modelo es estúpido y que hay que "engatusarlo" para que funcione.Ser respetuoso con las capacidades del modeloDale suficiente contexto e información para que pueda entender tus objetivos.
• Dar información directa: Cuando quieras que un modelo aprenda una nueva técnica, puedes darle el documento o el artículo correspondiente en lugar de intentar describirlo con tus propias palabras.
• Evite la simplificación excesiva: No simplifique deliberadamente sus instrucciones; confíe en el modelo para manejar tareas complejas.

3.7 Utilización de ayudas para la modelización

• Ejemplo de generación de modelos: Utilizar el modelo para generar ejemplos que luego puede modificar le permite generar avisos de alta calidad con mayor rapidez.
• Modelización de entrevistas: Deja que el modelo te entreviste, extraiga la información que tienes en la cabeza y la convierta en indicaciones.

3.8 No te dejes llevar por los consejos perfectos

• No existe la perfección: No caigas en la trampa de "buscar el consejo perfecto" y date cuenta de que siempre se puede mejorar.
• Aprendizaje continuo: Cada interacción con el modelo es una oportunidad de aprendizaje, y cada intento le permitirá comprenderlo mejor.
• Centrarse en la exploración de los límites: Intenta que el modelo haga algo que no crees que pueda hacer, y aprende explorando los límites del modelo.

3.9 Distinguir entre diferentes escenarios

• Investigación y Empresa: En un entorno de investigación, uno puede centrarse más en la diversidad y la exploración, mientras que en un entorno empresarial puede centrarse más en la fiabilidad y la coherencia.
• Diálogo persona-ordenador y aplicaciones del sistema: En un diálogo persona-ordenador, es posible que se realicen varias iteraciones, pero en una aplicación de sistema, hay que escribir indicaciones que puedan manejar diversas situaciones a la vez.

3.10 Uso de metaprompts

• Generar avisos por avisos: Puedes utilizar "meta-pistas" para conseguir que los modelos generen la salida o las consultas que necesitas. Basta con dar al modelo un documento sobre la técnica de pistas y hacer que genere una meta-pista para que otros modelos realicen la técnica.

En resumen, interactuar eficazmente con los modelos requiere una comunicación clara, un pensamiento sistemático, una experimentación coherente, una comprensión profunda y respeto por las capacidades del modelo. Al mismo tiempo, utilizar eficazmente la ayuda de los modelos puede ayudarle a iterar y optimizar sus indicaciones con mayor rapidez. Recuerde que no existe la indicación perfecta, sino el aprendizaje y la mejora continuos.

4. Conceptos erróneos sobre Prompt

4.1 Las sugerencias son simples instrucciones:

• Malentendido: La gente suele pensar que las indicaciones son simples instrucciones que se dan a un modelo, como introducir palabras clave en un motor de búsqueda. Pueden pensar que basta con teclear algunas palabras clave para que el modelo realice la tarea, y pasan por alto la importancia de una comunicación clara y precisa.
• Los hechos: De hecho.Las sugerencias son una forma compleja de programarque deben tratarse como código, incluido el control de versiones y el seguimiento de experimentos. Las buenas pistas deben diseñarse e iterarse cuidadosamente para garantizar que el modelo entiende la tarea con precisión y produce el resultado deseado.

4.2 Los consejos son estáticos y se escriben una vez:

• Malentendido: Algunas personas piensan que escribir un aviso es como escribir un ensayo; ya está hecho y no se necesitan más revisiones.
• Los hechos: El proyecto hint es unproceso iterativoque requiere una experimentación, modificación y optimización constantes. Hay que trabajar varias veces con el modelo parainteractuar de un lado a otroy mejore sus claves leyendo los resultados del modelo y analizando los errores. Una ingeniería de señales eficaz requiereAcepte la experimentación y la retroalimentaciónen lugar de esperar un proceso de un solo paso.

4.3 Los consejos necesitan una gramática y una puntuación perfectas:

• Malentendido: A menudo se da por sentado que, para que un modelo se entienda, el emisor debe utilizar una gramática y una puntuación perfectas.
• Los hechos: Aunque la atención al detalle es importante, elLos modelos comprenden a menudo las indicaciones que contienen errores ortográficos o imperfecciones gramaticales.. Importante.Claridad conceptualy no la perfección gramatical. Aunque es bueno corregir errores en la versión final, es aceptable ser imperfecto durante las iteraciones.

4.4 Hay que "engatusar" a los modelos para que funcionen:

• Malentendido: Algunas personas piensan que los modelos son estúpidos y necesitan que se les guíe a través de las tareas utilizando trucos o "mentiras", como dar al modelo una identidad o un papel falsos.
• Los hechos: Los modelos conocen bienNo necesitas "engatusarlo". Deberías hacerlo.Modelo de respetoy facilítale directamente información clara y precisa para que comprenda tus objetivos.Describa directamente su tareaen lugar de utilizar metáforas o tareas similares para guiar el modelo.

4.5 En el corazón de la ingeniería del taco se encuentra la redacción de instrucciones perfectas:

• Malentendido: Algunas personas creen que el objetivo de la ingeniería de claves es encontrar las instrucciones perfectas y dedicar mucho tiempo a descifrar cada palabra.
• Los hechos: Aunque las instrucciones precisas son importantes, lo es aún más que elEntender cómo funciona el modeloy a través deLeer la salida del modelo para aprender.Comprender la mentalidad del modeloasí comoCómo gestiona las distintas entradasmás que la búsqueda de instrucciones perfectas. Un buen ingeniero debe ser capaz deExtracción de señales de la salida del modeloy comprender su proceso de razonamiento, no sólo si el resultado es correcto.

4.6 Consejo La ingeniería es sólo escribir:

• Malentendido: Algunos creen que la competencia básica de la ingeniería de avisos radica en las habilidades de escritura, y creen que los buenos escritores son naturalmente buenos ingenieros de avisos.
• Los hechos: Aunque es necesario tener buenas dotes de redacciónNo es una competencia básica para la ingeniería de tacos. Un buen ingeniero de avisos debe tenerEspíritu experimental, pensamiento sistémico, capacidad para resolver problemasdemasiadoLa capacidad de comprender la mente modelo.Iteración y pruebasMás que meras dotes de redacción.

4.7 Hay que evitar dar demasiada información al modelo:

• Malentendido: A algunos les preocupa que dar demasiada información al modelo lo confunda, así que intentan simplificar las instrucciones y ocultar la complejidad.
• Los hechos: A medida que aumentan las capacidades de los modelos, son capaces de manejarMás información y contexto.Debes confiar en el modelo.dale suficiente información para que pueda entender mejor tu tarea.

4.8 Más ejemplos de consejos siempre es mejor:

• Malentendido: Se podría pensar que proporcionar un gran número de ejemplos es la única forma de mejorar el rendimiento del modelo.
• Los hechos: Aunque los ejemplos ayudan a orientar el modelo, demasiados ejemplos pueden serLimitar la creatividad y la diversidad en el modelado.. En el ámbito de la investigación.Utilizar ejemplos ilustrativos en lugar de ejemplos concretosPuede ser más eficaz porque anima al modelo a pensar en la propia tarea en lugar de limitarse a copiar el ejemplo.

4.9 Los modelos piensan y razonan como las personas:

• Malentendido: Se podría pensar que un modelo razonaría como un ser humano y entendería las claves de los "pasos del pensamiento".
• Los hechos: Aunque los modelos pueden imitar el proceso de razonamiento, por ejemplo medianteCadena de pensamientopero no es necesariamente un razonamiento verdadero. El modelo sólo genera texto basándose en las instrucciones y ejemplos que le das. Es importante comprender queLos modelos y los humanos piensan de forma diferenteNo antropomorfices demasiado el comportamiento del modelo.

4.10 Los juegos de rol siempre funcionan:

• Malentendido: Algunos creen que hacer que el modelo desempeñe un papel específico (por ejemplo, "Usted es un profesor") mejora su rendimiento.
• Los hechos: Los juegos de rol pueden funcionar en algunas situaciones, pero no siempre son necesarios. Describa directamente lo que quiere conseguirque es más eficaz que fingir que el modelo es otra persona. A medida que mejoren las capacidades del modelo, puede ser mejor darle directamente la descripción de la tarea y el contexto, en lugar de darle una identidad falsa.

4.11 Una vez que encuentre un buen consejo, siempre funcionará:

• Malentendido: Algunas personas piensan que una vez que encuentran un taco que funciona, funcionará para siempre y no será necesario retocarlo.
• Los hechos: A medida que mejoran las capacidades de modelización, laLos consejos eficaces también pueden ser anticuados. Algunas técnicas de señalización pueden integrarse en el modelo de modo que ya no sea necesario señalarlo explícitamente. Será necesarioAprendizaje y adaptación continuospara responder a los cambios en el modelo.

Comprender estos conceptos erróneos tan comunes puede ayudarle a interactuar con los modelos de forma más eficaz y a utilizar mejor la ingeniería de indicios para diversas tareas. La ingeniería de indicios no es una simple introducción de comandos, sino una disciplina que requiere una comprensión profunda y práctica.

5. Consejos de empresa frente a consejos de investigación

Consejos para empresasresponder cantandoConsejos para el nivel de investigaciónExisten diferencias significativas en cuanto a objetivos, métodos y enfoque.

Consejos para empresas

• Énfasis en la fiabilidadEn las aplicaciones empresariales, la fiabilidad es fundamental. El objetivo de las sugerencias a nivel empresarial es garantizar que el modelo produzca resultados coherentes y esperados en diversas situaciones. Esto suele requerir un gran número de ejemplos y orientaciones específicas para limitar la libertad del modelo.
• Centrarse en el formato:: Los avisos empresariales se centran en gran medida en el formato de la salida. Para las aplicaciones empresariales, la estabilidad y coherencia del formato de salida suele ser más importante que la variedad, ya que afecta a la eficacia de la presentación de la interfaz de usuario y al posterior procesamiento de los datos.
• Centrarse en las necesidades del usuarioAvisos de clase empresarial: los avisos de clase empresarial deben responder a las necesidades específicas del usuario. Esto significa que los avisos deben ser capaces de procesar una variedad de entradas diferentes y generar una salida que satisfaga las necesidades específicas del usuario.
• Pensamiento sistémicoLos indicadores de nivel empresarial a menudo requieren que se considere la integración del indicador en sistemas más amplios. Esto incluye tener en cuenta las fuentes de datos, la latencia y cómo integrar el modelo con otros programas y procesos.
• Muchas pruebas e iteracionesConsejos para empresas: los consejos para empresas deben someterse a diversas pruebas para garantizar un alto nivel de fiabilidad y estabilidad en aplicaciones reales. Esto incluye probar una variedad de casos límite, así como una variedad de posibles entradas de usuario.
• Centrarse en la coherenciaEn las aplicaciones de empresa, aunque la respuesta sea repetitiva, es aceptable siempre que responda a las expectativas. Esto es diferente de los objetivos exploratorios en un entorno de investigación.
• Aplicaciones a largo plazoConsejos para empresas: los consejos para empresas están diseñados para construir un sistema que pueda reutilizarse muchas veces. Como resultado, los consejos de empresa requieren más tiempo y esfuerzo para garantizar que funcionan de forma fiable.
• Evitar demasiada abstracciónInstrucciones: las instrucciones a nivel de empresa deben evitar las instrucciones demasiado abstractas y, en su lugar, describir claramente la tarea y el resultado requerido.

Consejos para el nivel de investigación

• Énfasis en la diversidad y la exploraciónEl objetivo de los estímulos a nivel de investigación es explorar las distintas capacidades del modelo y descubrir nuevos usos que se le pueden dar. Esto suele implicar reducir las restricciones del modelo y animarle a explorar diferentes resultados y soluciones.
• Favorecer pocos o ningún ejemploPara no limitar el alcance de la exploración del modelo, las indicaciones a nivel de investigación suelen reducir el número de ejemplos o no proporcionan ejemplos específicos.
• Centrarse en tareas cognitivasLas indicaciones a nivel de investigación se centran más en tareas cognitivas, es decir, en cómo el modelo entiende y resuelve problemas complejos.
• Uso de ejemplos ilustrativosCuando las instrucciones de investigación proporcionan ejemplos, éstos tienden a ser más ilustrativos que concretos. Esto significa que los ejemplos pueden ser diferentes de los datos con los que el modelo realmente necesita trabajar, y el objetivo es ayudar al modelo a comprender la naturaleza de la tarea, en lugar de imitar directamente los ejemplos.
• Probar nuevos límitesEl objetivo de las tareas de investigación es desafiar los límites de las capacidades del modelo y descubrir lo que el modelo hace bien y lo que hace mal. Esto incluye intentar tareas para las que el modelo no es bueno con el fin de comprender mejor sus limitaciones.
• Mayor atención a los productos flexibles y diversificadosLas indicaciones a nivel de investigación pueden centrarse más en explorar qué tipos de resultados pueden producir los modelos, incluso si esos resultados no son muy coherentes. Las indicaciones a nivel de investigación se centran más en cómo piensan los modelos, y en la calidad y profundidad de sus resultados, que en si los resultados son correctos.
• Más exploratorioLas pistas de grado de investigación son más exploratorias y pueden centrarse menos en la coherencia o el formato. El investigador se preocupará más por cómo reacciona el modelo ante una situación nueva y por cómo se puede utilizar la pista para dirigir al modelo en la dirección de la exploración.

resúmenes::

• Objetivos diferentesEl objetivo de las preguntas a nivel de empresa es resolver problemas del mundo real, haciendo hincapié en la fiabilidad y la coherencia, mientras que las preguntas a nivel de investigación pretenden explorar las capacidades de modelización, haciendo hincapié en la variedad y la innovación.
• Diferentes métodosLas indicaciones a nivel de empresa suelen emplear un gran número de ejemplos concretos para controlar la salida del modelo, mientras que las indicaciones a nivel de investigación suelen emplear pocos ejemplos o ninguno para animar al modelo a explorar nuevas posibilidades.
• Diferencias de enfoqueLas indicaciones a nivel de empresa se centran en los requisitos de los usuarios y la integración de sistemas, mientras que las indicaciones a nivel de investigación se centran en los procesos cognitivos y los límites de los modelos.
• Diferentes ciclos de desarrollo y pruebasEn general, las sugerencias para empresas deben ejecutarse en entornos de producción durante largos periodos de tiempo, por lo que requieren pruebas más rigurosas y un mayor control de calidad, mientras que las sugerencias para la investigación pueden someterse a ciclos de pruebas e iteración más cortos, con el objetivo de explorar los distintos potenciales del modelo.
• Diferentes enfoques de la modelizaciónEn el nivel de la empresa, a veces se "acomoda" el modelo para garantizar que se entiende correctamente, mientras que en el nivel de la investigación se tiende a "respetar" las capacidades del modelo y a darle más autonomía.

La diferencia fundamental entre las indicaciones a nivel de empresa y a nivel de investigación es su finalidad y enfoque.

Mientras que los consejos a nivel de empresa se dedican a proporcionar a los usuarios soluciones fiables, los consejos a nivel de investigación se dedican a ampliar nuestra comprensión de las capacidades del modelo.

En la práctica, estos dos indicios pueden requerir enfoques y técnicas diferentes.

6. Consejos para el futuro de la ingeniería

6.1 Las modelos entenderán mejor tus intenciones, pero la claridad sigue siendo importante

• Una perspectiva desde la teoría de la información: En el futuro, el modelo entenderá mejor tus necesidades, pero aún tienes que proporcionarle suficiente información para aclarar tus objetivos. Aunque el modelo sea capaz de entender lo que dices fuera deArticular claramente sus expectativas sigue siendo fundamental.
• La importancia de unos objetivos claros: Por muy inteligente que sea el modelo, laLa capacidad de definir objetivos sigue siendo central. Aunque los modelos pueden fijar objetivos, si quieres utilizarlos para resolver un problema, tienes que especificar explícitamente lo que quieres que hagan.
• Comunicación permanente: Aunque los modelos sean cada vez más inteligentes y comprendan mejor tus intenciones, tienes queComunicarse con los modelos, proporcionar información y realizar ajustes..

6.2 Las modelos serán sus ayudantes

• Colaboración con modelos: En el futuro, podrá colaborar más a fondo con el modelo para determinar lo que hay que escribir y lo que falta. Los modelos le ayudarán aDescubra lo que quizá no se había planteadoy proporcionarSugerencias para mejorar las indicaciones.
• Generación de pistas asistida por modelos: Puedes utilizar el modelo para generar ejemplos, borradores y meta-promptos para acelerar el proceso de desarrollo de la pregunta. Por ejemplo, puedes usar el modelo para generar ejemplos que luego revisas, lo que es mucho más fácil que escribir la respuesta perfecta desde cero.
• Interacciones de gran ancho de banda: En el futuro, podrás interactuar con el modelo con un gran ancho de banda, por ejemplo, proporcionándole información y solicitándole ajustes. Esta interacción será similar a la colaboración con un diseñador, en la que el usuario proporciona objetivos de alto nivel y el modelo le ayuda a concretarlos.

6.3 Los meta-consejos serán cada vez más importantes

• Utiliza las pistas para generar pistas: En el futuro, es posible que dedique más tiempo a buscar sugerencias que permitan a los modelos generar las salidas o consultas deseadas. Utilizarás metaprompts para conseguir que los modelos realicen técnicas de sugerencia específicas o para generar plantillas de sugerencia para otros modelos.
• Entregar material didáctico modelo: En lugar de escribir sus propias claves, puede proporcionar a los modelos documentos relevantes para que aprendan nuevas técnicas de generación de claves. Los modelos pueden leer directamente los documentos y aplicar sus conocimientos a la generación de pistas.

6.4 La ingeniería del taco se centrará en los límites del modelo

• Capacidad para explorar modelos: Seguirá explorando los límites de las capacidades del modelo y desafiando lo que el modelo puede lograr.
• La búsqueda de la excelencia en el rendimiento: Se centrará en obtener el máximo nivel de rendimiento de su modelo y en explorar lo que el modelo apenas puede lograr.

6.5 El modelo puede, a su vez, sugerirle que

• El modelo entiende tus intenciones: Cuando los modelos saben más que tú sobre el contexto de la tarea, pueden pedirte a su vez que aclares tus necesidades. Los modelos pueden hacer preguntas que te ayuden a aclarar lo que intentas conseguir y a detectar casos extremos que puedas haber pasado por alto.
• De receptor de instrucciones a asesor experto: El modelo pasará de ser un simple receptor de instrucciones a un asesor experto al que puedes consultar los detalles de la tarea. Es como trabajar con un diseñador, te hará preguntas para entender mejor tus necesidades.
• Entrevistas a modelos: Para entender mejor sus necesidades, el modelo puede venir e interactuar con usted como si fuera una entrevista.

6.6 El futuro exige una mayor introspección

• El modelo te entiende: En el futuro, el modelo tendrá que entender tus ideas, en lugar de que tú intentes entender el modelo.
• Hazte visible para el modelo: Tendrás que aprender a expresar tus ideas y necesidades con claridad para que el modelo pueda entender tus intenciones.
• Define el concepto: A veces es necesario crear nuevos conceptos y definir lo que significan para que el modelo entienda sus intenciones.

6.7 La ingeniería del taco puede convertirse en una práctica filosófica

• Claramente expresado: En el futuro, la ingeniería del taco puede requerirPensar y escribir como un filósofoUtilizar un lenguaje claro y preciso para expresar ideas complejas.
• Escribir para el hombre común culto: Debe redactar el mensaje como si se dirigiera a un profano en la materia, de modo que incluso alguien que no esté familiarizado con el tema pueda entender su intención.
• Exteriorice su cerebro: Una buena ingeniería de pistas requiere que exteriorices las ideas de tu cerebro y las hagas comprensibles para el modelo.

6.8 Consejo Los conocimientos de ingeniería se transferirán a tareas de nivel superior

• Desde misiones de bajo nivel hasta misiones de alto nivel: A medida que avance el modelo, ya no necesitará centrarse en las indicaciones para tareas de bajo nivel, sino que se centrará en tareas de alto nivel, como la descomposición de tareas y el razonamiento complejo.
• Interacción guiada: Es probable que las futuras interacciones se parezcan más a diálogos guiados que a modelos que teclean texto en una consola para llegar a un resultado final.

Indicios de que el futuro de la ingeniería puede requerirMayor capacidad de colaboración, introspección y expresión. Tendrá que trabajar con modelos para explorar sus capacidades y definir sus necesidades. Además.También hay que seguir aprendiendo y adaptándose a los cambios del modeloen lugar de buscar una solución única. Aunque el futuro de la ingeniería rápida cambiará, la claridad de objetivos y la articulación seguirán estando en el centro.

7. Consejos para los trabajos de incitación

La atención se centra en cómoMejorar la eficiencia y eficacia de la comunicación con los modelos::

7.1 Iteración y experimentación:

• Sigue intentándolo: El proyecto hint es unproceso iterativoque requiere experimentación, revisión y optimización constantes. No espere escribir el texto perfecto a la primera, pero prepárese para hacer múltiples cambios.interactuar de un lado a otro.
• Aprende de tus errores: Cuando el modelo es erróneo, hay que analizarlo detenidamenteMotivos del errory mejore sus indicaciones en consecuencia. Cada interacción con un modelo es una oportunidad de aprendizaje.
• Acepta el experimento: Hay que estar abierto a probar distintos métodos para ver cuál funciona mejor. En el corazón del proyecto cue se encuentraExperimentación y retroalimentacióny no paso a paso.

7.2 Comunicación clara y precisa:

• Articular claramente la tarea: gasto o desembolsoLenguaje claro y concisoDescriba lo que quiere que consiga el modelo. Evite términos vagos o ambiguos.
• Facilite información suficiente: No tengas miedo de darle al modeloProporcionar información detallada sobre el contexto y los antecedentes. Asegúrese de que el modelo comprende sus objetivos y los requisitos específicos de la tarea.
• Respeta el modelo: En lugar de intentar "engatusar" al modelo, es importanteModelo de respetode comprensión. Describa su tarea directamente, en lugar de utilizar metáforas o personajes de ficción.

7.3 Entender cómo funcionan los modelos:

• Lee la salida del modelo: Lea atentamente el resultado del modelo para comprender sumentalidady los procesos de razonamiento. Observa cómo maneja el modelo las distintas entradas y ajusta tus indicaciones en consecuencia.
• Explora los límites del modelo: Intenta que el modelo realice tareas que crees que no puede hacer, paraComprender el alcance de las capacidades del modelo. Esto puede ayudarle a comprender mejor las limitaciones del modelo.
• Intenta tocar el modelo: Intente ponerse en la piel dePensar en términos de modelizaciónComprenda cómo percibe sus instrucciones. Esto puede ayudarte a predecir mejor el comportamiento del modelo.

7.4Diversos métodos de señalización:

• Ejemplo de uso: Proporcionandoejemplo típicopara guiar al modelo en la tarea. Sin embargo, tenga cuidado de no abusar de los ejemplos, ya que esto puede limitar la creatividad del modelo.
• Utiliza meta-consejos: Utilice las indicaciones paraGenerar consejos adicionaleso hacer que el modelo genere resultados que satisfagan necesidades específicas. Esto puede ayudarle a explorar diferentes estrategias de señalización de forma más eficiente.
• Pensamiento en cadena: hacer un modeloExplicación paso a paso de su proceso de razonamiento. Esto le permite comprender mejor el proceso de toma de decisiones del modelo y le ayuda a mejorar su rendimiento.
• Juego de roles: Aunque no siempre es necesario, en algunos casos es útil dejar que el modeloDesempeñar un papel específicoPuede ayudar a hacer el trabajo. Sin embargo.A menudo es más eficaz expresar tu misión directamente.

7.5 Consejos avanzados:

• Define el concepto: Para comunicar tus intenciones, a veces necesitasDefinir nuevos conceptosy explicar lo que significan.
• Deja que la modelo te entreviste: Haz que el modelo te entreviste por turnos paraAyuda a despejar la menteque extrae la información que necesitas proporcionar al modelo.
• Recurrir a la filosofía: Aprender de la escritura filosófica cómoArticular ideas complejaspara que el modelo pueda entender tus intenciones.
• Informar al modelo: En lugar de escribir tus propias indicaciones, puedes dar a los modelos los papeles o documentos pertinentes y dejar que aprendan por su cuenta.

7.6 Notas.

• No te centres demasiado en la gramática: Aunque es importante prestar atención a los detalles, no te fijes demasiado en la gramática o la puntuación. Lo importante es.Claridad conceptual.
• No subestimes el modelo: No pienses que las modelos son tontas y que hay que "engatusarlas" para que trabajen. Usted debemodelo de confianzacapacidad y darle suficiente información para completar la tarea.
• No temas la complejidad: A medida que los modelos se vuelven más capaces, pueden manejar información más compleja. En lugar de intentar ocultar la complejidad, semodelo de confianzaque tratar.
• Aprendizaje y adaptación continuos: A medida que aumenta la capacidad de modelización, laLos métodos de incitación eficaces también pueden quedar obsoletos. Hay que seguir aprendiendo y adaptándose a los cambios del modelo.
• Se buscan comentarios. Enseñar tus consejos a otras personas, sobre todo a las que no están familiarizadas con tu tarea, puede ayudarte a detectar problemas que podrías haber pasado por alto.
• Lee los consejos: Lee buenos consejos escritos por otros y analiza cómo funcionan.

7.7 Consejos para el futuro

• Los modelos serán asistentes. En el futuro, los modelos te ayudarán a escribir las indicaciones. Tendrás que colaborar con el modelo para determinar lo que hay que escribir y lo que falta.
• Mayor capacidad de introspección. Necesitarás una mayor introspección para hacerte visible al modelo.
• Se trata de entenderte: En el futuro, la modelización dejará de centrarse en la comprensión de las instrucciones para centrarse en la comprensión de sus intenciones.
• De Receptor de Directivas a Consultor Experto. El modelo puede pasar de ser un simple receptor de instrucciones a un asesor experto. Tienes que aprender a comunicarte más profundamente con los modelos y obtener feedback de ellos.

En conclusión.La ingeniería de consejos es una habilidad que requiere práctica y aprendizaje continuo. Comprendiendo cómo funcionan los modelos, empleando diversos métodos de indicación y explorando continuamente los límites del modelo, puede mejorar sus habilidades de ingeniería de indicaciones y hacer un mejor uso del modelo para una variedad de tareas. En última instancia, una buena indicación es aquella que expresa de forma clara, concisa y precisa su intención y permite que el modelo realice eficazmente la tarea que usted desea.

8. Debate sobre el Jailbreak

¿Qué es el Jailbreak?

• definaJailbreak Prompts son prompts que intentan saltarse las restricciones de seguridad y las directrices éticas de un Large Language Model (LLM). Por lo general, estos mensajes pretenden permitir que el modelo genere contenido que de otro modo estaría prohibido, como contenido dañino, poco ético o tendencioso.
• metaEl objetivo del jailbreaking suele ser explorar los límites del modelo, probar su seguridad y robustez y comprender cómo responde a diferentes entradas y formulaciones.
• metodologíasEl "jailbreaking" puede realizarse de varias formas, como el uso de un gran número de tokens, textos largos, redacciones inusuales, mezclas multilingües, juegos de rol y el uso de modelos para predecir el texto.

Cómo funciona el Jailbreaking

• Superar la distribución de la formaciónUna posible explicación es que los indicios de fuga de la cárcel sitúen al modelo fuera de su distribución de datos de entrenamiento. Por ejemplo, es posible que durante el proceso de ajuste, el modelo no se haya encontrado con textos tan largos o complejos y, por tanto, se comporte de forma anómala al procesar estas pistas.
• Utilización de mecanismos de predicción: A veces, los Jailbreaks aprovechan la forma en que el modelo predice el texto, por ejemplo, empezar la pregunta con "Así es como..." puede hacer que el modelo genere respuestas más detalladas y específicas.
• Uso de la capacidad de razonamientoEl Jailbreaking puede explotar las capacidades de inferencia del modelo, por ejemplo, exigiéndole que genere respuestas en otras lenguas antes de traducirlas a la lengua de destino, eludiendo así ciertas restricciones.
• Aprovechar las diferencias de formaciónJailbreaking: el Jailbreaking puede aprovechar las diferencias en los datos de entrenamiento entre idiomas, por ejemplo, ciertos contenidos pueden estar permitidos en un idioma pero prohibidos en otro.
• ingeniería socialEl Jailbreaking a veces huele a ingeniería social, lo que implica no sólo explotar las vulnerabilidades de un sistema, sino también entender cómo funciona y utilizar ese conocimiento para eludir las restricciones.
• Dar sentido a los modelos: Para que los métodos de fuga sean eficaces no basta con probarlos, sino que hay que entender cómo funciona el modelo, cómo se entrena y utilizar ese conocimiento para burlar los mecanismos de seguridad del modelo.

Jailbreaks y formación de modelos

• Objetivo de la formación de modelosEl objetivo del entrenamiento del modelo es identificar y eliminar los patrones de fuga para que el modelo pueda responder de forma más segura a las entradas del usuario.
• Proceso de formación continuaUna vez que se descubre un método eficaz de fuga de la cárcel, el modelo se vuelve a entrenar para evitar la misma vulnerabilidad de nuevo en el futuro. Esto significa que las técnicas de jailbreaking tienden a ser a corto plazo y se solucionan en cuanto se descubren.
• Seguridad y éticaJailbreaking: El jailbreaking está estrechamente relacionado con la seguridad y la ética del modelo. Dado que el objetivo último del jailbreaking es que el modelo genere contenidos que infrinjan las directrices de seguridad, los desarrolladores de modelos iteran continuamente sobre el modelo y los mecanismos de seguridad para evitar ese comportamiento.

El significado de Prison Break

• Límite de la pruebaEl Jailbreaking nos ayuda a comprender mejor las limitaciones del modelo y a mejorar su diseño poniendo a prueba los límites de sus capacidades.
• Revelar posibles problemasEl Jailbreaking puede revelar posibles problemas en el entrenamiento del modelo, como sesgos en los datos o vulnerabilidades de seguridad.
• Mayor seguridadEl objetivo de este artículo es ofrecer una visión general de los métodos de jailbreak para desarrollar medidas de seguridad más eficaces que hagan más seguro el uso del modelo en aplicaciones reales.

resúmenes

El jailbreaking es un importante campo de investigación en ingeniería de indicios que no sólo nos ayuda a entender cómo funcionan los grandes modelos lingüísticos, sino que también nos ayuda a mejorar la seguridad y fiabilidad de nuestros modelos. Jailbreaking se centra en explorar los límites del modelo, intentando que éste genere contenidos que no debía generar, y aprendiendo y mejorando en el proceso. El jailbreaking también está estrechamente relacionado con el proceso de formación del modelo, ya que éste se actualiza y mejora constantemente para eliminar posibles vulnerabilidades.

9. Citas clave de los oradores

9.1 Sobre la definición y la naturaleza de la ingeniería de indicios:

• Zack Witten. "Creo que el proyecto puntual esIntentar que el modelo haga cosas, intentar maximizar el potencial del modelo.Intenta trabajar con la modelo para conseguir cosas que de otro modo no podrías". Subraya la importancia de una comunicación clara y sostiene que el diálogo con las modelosEs muy parecido a mantener una conversación con alguien..
• Zack Witten. "La parte de ingeniería proviene de la experimentación iterativa." Señala que, a diferencia de hablar con una persona, hacerlo con un modelo tiene un "botón de reinicio" que permite empezar de cero y probar distintos enfoques de forma independiente, lo que posibilita la experimentación y el diseño.
• David Hershey. "Creo que el taco es algo así como queEnfoque del modelo de programación." Señaló que construir un sistema que utilice modelos lingüísticos no sólo requiere escribir indicaciones, sino también tener en cuenta cuestiones como las fuentes de datos, la latencia y la integración del sistema.
• Zack Witten. "Los artículos que estamos escribiendo ahora son como el código." Sostiene que los textos escritos, como un buen ensayo, pueden tratarse ahora como un código.

9.2 Sobre los rasgos de un buen ingeniero de tacos:

• Amanda Askell. "Creo que es una mezcla de comunicación clara, es decir, ser capaz de articular las cosas con claridad, entender las tareas con claridad, yPensar y describir bien los conceptos." SubrayóCapacidades iterativasasí comoPiensa en las formas en que las indirectas pueden salir mal.
• Amanda Askell. "La diferencia entre un buen ingeniero de tacos y uno maloestá en la capacidad de desglosar sistemáticamente toda la información necesaria para la tarea". Destaca la importancia de alejarse de la propia comprensión y acercarse a modelos deComunicar la información con claridadLa importancia de la
• Zack Witten. "Leer la salida del modelo". Subrayó la importancia de leer atentamente los resultados de los modelos y señaló que, aunque en las indicaciones se incluyera "pensar progresivamente", era importante comprobar que el modelo realmente pensaba progresivamente.
• Amanda Askell. "Imodelo de desconfianzay luego sigo intentándolo". Cree que hay que probar constantemente los modelos, sobre todo en zonas desconocidas, para garantizar su fiabilidad.

9.3 Prácticas y consejos sobre la incitación:

• David Hershey. "Muchas veces no se trata de escribir un mensaje, dárselo a la modelo y ya está. De hecho, es mucho más que eso.Es mucho más complicado.." Señaló que los avisos a menudo deben integrarse en sistemas más amplios.
• Zack Witten. "Intenta no abstraerte de tus consejos(matemáticas) géneroDescribir claramente la tareaNo intentes construir abstracciones locas". Sostiene que describir las tareas con claridad suele ser más eficaz que intentar construir abstracciones complejas.
• Amanda Askell. "Lo primero que hago es darle una propina y luego digo: 'No quiero que sigas estas instrucciones. Sólo quiero que me digas lo que no está claro en ellas, cualquier ambigüedad o cualquier cosa que no entiendas....'" Sugiere pedir al modelo que señale las áreas poco claras o ambiguas después de la indicación inicial.
• Amanda Askell. "Si la gente ve que una modelo comete un error, normalmente noPregunte directamente a la modelo." Sugiere que, cuando un modelo comete un error, puede ser sencillo preguntarle por qué lo cometió y cómo podrían haberse modificado las instrucciones para evitarlo.
• David Hershey. "Si no le das una opción de **"salida "**, seguirá intentando seguir tus instrucciones". Insistió en la importancia de dar una opción de "salida" en las instrucciones para que el modelo pueda hacer frente a la incertidumbre si se encuentra con ella.
• Amanda Askell. "No te apegues demasiado a un consejo perfecto." Sostiene que esforzarse demasiado por conseguir consejos perfectos puede conducir al estancamiento y que es importante reconocer cuándo ha llegado el momento de dejar de optimizar.
• Zack Witten. "NormalmenteProcure que la gramática y la puntuación sean correctasporque creo que es interesante". Cree que es importante prestar atención a los detalles, aunque el modelo no requiera una sintaxis perfecta.

9.4 Sobre el futuro de los juegos de rol y las indicaciones:

• Amanda Askell. "Sólo piensoNo hay necesidad de mentirles.." Sostiene que, a medida que los modelos se hacen más poderosos, no es necesario recurrir a falsos juegos de rol, y que bastará con una declaración directa de la misión.
• Amanda Askell. "Tienes que expresar con palabras lo que quieres.A veces lo que quiero es bastante sutil". Cree que a veces hay que inventar nuevos conceptos para expresar las intenciones y definirlas de acuerdo con el modelo.
• Amanda Askell. "Quizá el taco se convierta enExplico lo que quiero y el modelo me pide que." Concibe un futuro en el que los modelos puedan preguntar a los usuarios por turnos para ayudarles a aclarar sus necesidades.
• Zack Witten. "Creo queEn el futuro utilizaremos más los modelos para ayudarnos con las indicaciones.." Ve el futuro en el uso de modelos que ayuden a generar señales e interactuar con ellas a gran ancho de banda.

9.5 Sobre la evolución de la ingeniería de pistas:

• Amanda Askell. "A medida que pasa el tiempoCada vez más inclinados a confiar en ellaque le da más información y contexto". Sostiene que, a medida que avanzan los modelos, se puede confiar en que procesen más información y contexto.

9.6 Resumen clave:

• La comunicación clara y la iteración están en el corazón de la ingeniería del taco.
• Un buen ingeniero debeEntender cómo funciona el modelofusionarExplorar continuamente los límites del modelo.
• En el futuro, los modelos serán asistentes a las indicaciones, e incluso podrán avisar al usuario a su vez.
• Los conocimientos de ingeniería que se derivarán de laTransferencia de tareas de bajo nivel a tareas de nivel superiorcomo la descomposición de tareas y el razonamiento complejo.
• Habilidades introspectivas y definiciones conceptualesserá aún más importante.

Explicación de los términos clave

• Prompt Engineering:Método de optimización de entradas textuales (prompts) para obtener la salida deseada de un modelo lingüístico.
• Iteración:En ingeniería de señales, se refiere al proceso de ajuste y mejora continuos de las señales, cada vez en función de la información recibida del modelo.
• Cadena de pensamiento:Una técnica de sugerencia que requiere que el modelo explique paso a paso su proceso de razonamiento antes de dar una respuesta final.
• Tiro Cero:Se refiere a la capacidad de un modelo para responder directamente a las preguntas sin aportar ejemplos.
• Few-Shot:En las indicaciones se proporciona un pequeño número de ejemplos para guiar las salidas del modelo y hacerlas mejores en la tarea.
• Generación mejorada por recuperación (RAG):Metodología que permite al modelo acceder a una base de conocimientos externa para obtener información relevante a la hora de generar respuestas.
• Modelo de salida:Se refiere a las respuestas textuales generadas por el modelo lingüístico en respuesta a una pregunta.
• Teoría de la mente:En el contexto de la ingeniería de pistas, se refiere a la capacidad de comprender cómo un modelo lingüístico entiende y procesa las instrucciones.
• RLHF (Aprendizaje por Refuerzo a partir de la Retroalimentación Humana): técnica de entrenamiento que utiliza la retroalimentación humana para optimizar el comportamiento y los resultados de un modelo lingüístico.
• Modelo preentrenado:Modelos lingüísticos que se entrenan con grandes cantidades de datos textuales y luego se ajustan para tareas específicas.
• Prompt empresarial:Consejos diseñados para escenarios de aplicaciones empresariales con énfasis en la fiabilidad y la coherencia.
• Pregunta de investigación:Preguntas diseñadas con fines de investigación para explorar las capacidades de modelización y obtener resultados diversos.
• Jailbreaking:Un intento de hacer que el modelo genere indicios de contenido dañino o inapropiado saltándose las medidas de seguridad.
• Red Teaming:Simular ataques para probar la seguridad y solidez de modelos y sistemas.
• Eval:Prueba o conjunto de datos utilizados para medir el rendimiento de un modelo lingüístico en una tarea específica.

Traducción completa del podcast en chino

Traducción al chino

Introducción (00:00-00:27)

Alex (anfitrión): Hola a todos, soy Alex y esta mesa redonda se centrará principalmente en la ingeniería de avisos. Exploraremos las prompts desde distintas perspectivas (investigación, consumidor y empresa), compartiremos ideas y debatiremos en profundidad la naturaleza de la ingeniería de prompts.

Autopresentación de los miembros del equipo (00:28-02:00)

- Alex: Jefe de Relaciones con Desarrolladores en Anthropic, anteriormente Ingeniero de Consejos de Anthropic, responsable de arquitectura de soluciones e investigación.

- David Hershey: Se encarga principalmente de trabajar con los clientes para ayudarles a perfeccionar sus modelos y resolver problemas comunes a la hora de adoptar modelos lingüísticos, como la ingeniería de avisos y la creación de sistemas basados en modelos lingüísticos.

- Amanda Askell: Uno de los jefes del equipo de ajuste fino de Anthropic, dedicado a hacer la Claude Más honesto y amistoso.

- Zack Witten: Ingeniero en prompting antrópico que ha trabajado con clientes y actualmente trabaja para mejorar la ingeniería de prompting en toda la comunidad, como el desarrollo de generadores de prompting y diversos materiales educativos.

¿Qué es un proyecto cue? (02:01-06:29)

Alex: ¿Qué es el Proyecto Cue? ¿Por qué se llama "proyecto"? ¿Qué es exactamente una "pista"?

Zack: El objetivo de la ingeniería Cue es guiar al modelo a través de las tareas, aprovechando todo el potencial del modelo y realizando un trabajo que de otro modo sería imposible mediante la colaboración con el modelo. Para ello es fundamental una comunicación clara. Hablar con un modelo es, en muchos aspectos, como hablar con una persona, y requiere comprender la "psicología" del modelo.

Alex: ¿Por qué lleva "ingeniería" en el nombre?

Zack: La "ingeniería" está en el proceso de ensayo y error. A diferencia de las personas, los modelos pueden "volver a empezar", lo que significa que se pueden probar distintos enfoques desde cero y evitar que interfieran entre sí. Esta capacidad de experimentar y diseñar confiere a la ingeniería del taco sus propiedades de "ingeniería".

Alex: Así pues, la ingeniería de claves es el proceso de escribir claves, interactuar con el modelo, modificarlo iterativamente y ser capaz de volver al estado inicial cada vez, lo que en sí mismo es "ingeniería".

Zack: Otro aspecto es la integración de los avisos en el sistema general.

David: Las sugerencias pueden verse como una forma de escribir modelos, pero lo más importante es la claridad. Pensar en ello como programación requiere tener en cuenta las fuentes de datos, los datos accesibles, los compromisos de latencia y la cantidad de datos proporcionados. Construir modelos requiere un pensamiento sistemático, y esto es lo que distingue a la ingeniería de pistas de los ingenieros de software o los gestores de productos; es autónoma.

Alex: ¿Las sugerencias son código de lenguaje natural? ¿Es un nivel superior de abstracción o un concepto independiente?

David: Abstraer demasiado las sugerencias puede complicar el problema; normalmente sólo se necesita una descripción clara de la tarea. Sin embargo, las sugerencias compilan instrucciones en resultados, por lo que conceptos importantes en programación como la precisión, el control de versiones y el seguimiento de experimentos también se aplican a las sugerencias.

Zack: Ahora, tiene sentido que tratemos los artículos escritos como código.

¿Qué cualidades debe tener un buen ingeniero de avisos? (06:30-12:43)

Alex: Amanda, ¿en qué te fijas a la hora de contratar a un ingeniero de cueing?

Amanda: Los buenos ingenieros de señalización deben ser capaces de comunicarse con claridad, iterar y anticiparse a situaciones en las que las señales puedan salir mal. Una comunicación clara significa ser capaz de articular, comprender tareas y describir conceptos con precisión. Unas excelentes dotes de redacción no están totalmente correlacionadas con unas excelentes dotes de ingeniería de señales. La ingeniería de indicios no se produce de la noche a la mañana y requiere una iteración constante para analizar el modelo en busca de áreas de malentendido y hacer correcciones. Los buenos ingenieros de indicios piensan en las situaciones concretas en las que un modelo puede estar equivocado, como la ausencia de nombres en un conjunto de datos que empiecen por "G" o una cadena de entrada vacía, y añaden explicaciones para esas situaciones.

David: Los ingenieros suelen plantearse situaciones ideales en las que un usuario podría teclear, pero la realidad puede ser que el usuario no utilice mayúsculas, escriba mal o introduzca palabras sin sentido. Ser capaz de anticiparse al comportamiento real del usuario es otra habilidad importante de los ingenieros de cueing.

Zack: Leer los resultados del modelo es fundamental. Al igual que "mirar los datos" en el aprendizaje automático, la ingeniería de pistas requiere una lectura cuidadosa de los resultados del modelo. Por ejemplo, aunque una pista pida al modelo que "piense paso a paso", hay que comprobar que realmente lo hace, ya que el modelo puede entender las instrucciones de una forma más abstracta o generalizada.

Amanda: Redactar una declaración de objetivos es muy difícil y requiere comunicar con claridad información que Claude desconoce. Muchas personas escriben directamente la información que conocen, pero sin ordenar sistemáticamente el conjunto completo de datos necesarios para comprender la tarea.

David: Muchas personas escriben indicaciones basadas en su comprensión a priori de la tarea, lo que las hace incomprensibles para los demás. Los buenos ingenieros de indicaciones son capaces de salir de su propio marco de conocimientos y comunicar la tarea en su totalidad al modelo.

Alex: A menudo, basándome en indicaciones escritas por otros, soy incapaz de completar la tarea mientras que se espera que el modelo haga un trabajo mejor que el mío.

David: Los modelos actuales aún no son capaces de formular preguntas específicas como lo hacen los humanos, por lo que los ingenieros de prompting tienen que pensar por sí mismos qué preguntas podría hacer la otra persona y responder a ellas en el prompt.

Amanda: Le pediría al modelo que señalara las partes poco claras o ambiguas de la pregunta y le pediría que explicara qué ha fallado y sugiriera cambios.

¿Cómo puedo saber si un modelo puede detectar sus propios errores? (12:43-14:12)

Alex: ¿Puede un modelo descubrir realmente sus propios errores preguntándose "por qué se ha equivocado"? ¿Son reales las explicaciones que proporciona o son "ilusiones" sobre las propias capacidades del modelo?

Amanda: Si se explica al modelo lo que está haciendo mal, a veces puede reconocer el problema. Pero depende de la tarea concreta y el porcentaje de éxito es incierto, pero yo siempre lo intento.

Zack: Interactuar con el modelo puede ayudarte a comprender la situación, y te perderás esta información si no lo intentas.

¿Cómo puedo saber si un aviso es creíble? (14:13-17:52)

Alex: Interactúas mucho con Claude en tu canal de Slack y lo utilizas en diversos escenarios de investigación. Cómo generaste confianza en el modelo?

Amanda: No confío plenamente en el modelo, sino que lo "refino" constantemente. Pienso "¿Puedo confiar en que haga esto?". Pienso "¿Puedo confiar en que haga esto?". Los modelos a veces no son fiables en tareas aparentemente sencillas, a menudo en áreas fuera de la distribución de los datos de entrenamiento del modelo. Esto disminuye a medida que los modelos son más capaces. No me fío de los modelos por defecto, pero creo que en el aprendizaje automático, uno suele querer analizar muchos datos para eliminar el ruido. Y en la ingeniería de pistas, un pequeño número de pistas cuidadosamente construidas es más valioso que un gran número de pistas construidas al azar. Si miro los resultados de 100 modelos y los resultados son coherentes, y sé que los resultados cubren una amplia gama de casos extremos y entradas anómalas, entonces voy a confiar más en el modelo.

David: Las señales en el aprendizaje automático suelen ser números, como la precisión de las predicciones. Y la salida de un modelo suele ser una gran cantidad de texto, a partir del cual podemos aprender cómo piensa el modelo. No se trata solo de si el modelo ha realizado correctamente la tarea, sino de cómo ha llegado al resultado y qué pasos ha seguido.

Amanda: Unas pistas bien escritas pueden impulsar el éxito de los experimentos desde los 1% o incluso los 0,1% hasta los 1% o incluso los 0,1% más altos. Si sus experimentos necesitan estar en los 1% más altos de la clasificación de rendimiento de modelos para tener éxito, es fundamental que dedique tiempo a las pistas.

David: En el despliegue de productos, un buen consejo puede hacer utilizable un producto que de otro modo sería inviable.

Amanda: Pero también existe la trampa de "siempre hay mejores consejos en camino".

¿Cómo puedo saber si una tarea puede resolverse con un aviso? (17:53-21:12)

Alex: ¿Cómo puedo saber si es probable que una tarea se resuelva con un aviso?

Amanda: Suelo comprobar que el modelo "entiende" la tarea. Si está claro que el modelo es incapaz de realizar una tarea, no le dedico mucho tiempo.

David: Puedes guiar al modelo para que exponga su proceso de pensamiento y, a partir de ahí, determinar si ha entendido correctamente la tarea. Suelo abandonar si el proceso de pensamiento del modelo es completamente diferente cada vez y se aleja mucho de la dirección correcta.

Amanda: Esto es raro.

David: Hace poco intenté que Claude jugara a Pokemon, que era la primera vez que me encontraba con esto. Me pasé un fin de semana escribiendo pistas para intentar que Claude entendiera la pantalla de la Game Boy y, aunque hice algunos progresos, no fueron suficientes. Así que decidí rendirme por ahora y esperar al siguiente modelo.

Consejos sobre imágenes (21:13-24:27)

Zack: Una de las cosas que me gustó de las pistas que usaste en el juego de Pokemon fue que explicaste a la modelo que estaba en un juego de Pokemon y cómo se representaban los elementos del juego.

David: Acabé superponiendo una cuadrícula sobre la imagen y describiendo cada sección de la cuadrícula, para luego reconstruirla como un dibujo ASCII con el mayor detalle posible. Esto tiene muchas similitudes con el proyecto cue, pero nunca lo había hecho con una imagen. Descubrí que muchas de mis intuiciones sobre el texto no se aplicaban a las imágenes. Por ejemplo, las pistas multimuestras no funcionan tan bien con imágenes como con texto.

Alex: Hasta ahora nos había resultado difícil mejorar la percepción de Claude sobre las imágenes al explorar pistas multimodales.

David: Al final conseguí que Claude reconociera las paredes y los personajes la mayor parte del tiempo, pero no podía reconocer a los PNJ, que es crucial para jugar bien al juego.

Debate sobre los juegos de rol (24:28-32:26)

Alex: ¿Es eficaz la técnica de cueing consistente en decirle a la modelo que desempeña un determinado papel o identidad?

Amanda: A medida que los modelos se vuelven más capaces y se comprenden mejor, no veo la necesidad de mentir sobre ellos. No me gusta mentir, y no creo que construir conjuntos de datos de evaluación para sistemas de aprendizaje automático sea lo mismo que construir cuestionarios para niños. Los modelos saben lo que es la evaluación de modelos lingüísticos, así que les preguntaré directamente por la tarea real. Le diría al modelo: "Quiero que construyas preguntas muy parecidas a las evaluaciones de modelos lingüísticos", en lugar de fingir que completa una tarea no relacionada.

Zack: He descubierto que el uso de metáforas puede ayudar al modelo a entender la tarea. Por ejemplo, al juzgar la calidad de un gráfico, le preguntaba al modelo: "Si esto fuera una tarea de secundaria, ¿qué nota le pondrías a este gráfico?". . Esto no significa "eres un profesor de instituto", sino que proporciona una analogía que permite al modelo entender el modo en que espero que funcione el análisis.

David: La gente suele recurrir a los juegos de rol como atajo para realizar tareas similares, pero no se da cuenta de cuántos detalles del producto se pierden. A medida que los modelos adquieren más capacidad, es más importante describir con mayor precisión el contexto específico en el que se utilizarán. Por ejemplo, en lugar de decir "Eres un asistente útil", dile al modelo "Estás en este producto, representas a esta empresa y eres la ventana de chat de soporte de este producto". Mi consejo es que describas el contexto específico en el que se utilizará el modelo con el mayor detalle posible, ya que a menudo la gente se desvía de la tarea real por el juego de roles.

Amanda: Personalmente, nunca he utilizado el roleplaying como técnica de incitación, ni siquiera en modelos menos capaces.

David: Esto puede estar relacionado con las diferencias entre el modelo preentrenado y el modelo RLHF.

Amanda: Me imaginaría la tarea como una prueba a completar, y le diría "Queremos que detectes buenos gráficos, y buenos gráficos significa ......", pero no le diría "¡Eres un estudiante de secundaria! Eres un estudiante de secundaria".

Sugerencias para una presentación concisa (32:27-36:45)

David: Cuando los clientes dicen que sus indicaciones no funcionan, les pido que describan la tarea y luego les pido que graben lo que acaban de decir y lo transcriban en un texto, que suele ser mejor que las indicaciones que escribieron.

Zack: Alguien nos pidió ayuda para optimizar los consejos, así que me limité a copiar lo que describían y los consejos funcionaron.

David: La gente no ha entendido del todo lo que significan realmente las indicaciones. Muchas personas utilizan los cuadros de texto como cuadros de búsqueda de Google para introducir palabras clave. En las aplicaciones empresariales, la gente intenta tomar atajos en los avisos, pensando que una línea de texto concreta es importante. La gente se esfuerza mucho por encontrar la frase perfecta y perspicaz, pero es difícil conseguirlo.

Amanda: A menudo, la gente se olvida de dejar espacio para el modelo en sus indicaciones. Por ejemplo, el modelo hará todo lo posible por seguir tus instrucciones cuando se encuentre con un caso límite, pero si no le dices qué hacer, puede dar una respuesta equivocada. Puedes decirle al modelo "Si ocurre algo raro y no estás seguro de qué hacer, escribe 'no estoy seguro' en la etiqueta". Esto te ayudará a detectar situaciones que el modelo no maneja bien y a mejorar la calidad de los datos.

Amanda: Enseñaría las indicaciones a los demás como si yo mismo estuviera haciendo la evaluación.

David: Karpathy también realiza sus propios conjuntos de pruebas ImageNet.

Cómo obtener información válida de las respuestas de los modelos (36:46-40:46)

Alex: ¿Cómo obtener información válida de las respuestas de un modelo? No es sólo un número, a partir de él se puede aprender sobre el proceso de pensamiento del modelo. ¿Se aplica esto a las cadenas de pensamiento?

David: Creo que la analogía de la personificación, con su excesivo énfasis en el "razonamiento", es perjudicial. Lo importante es que las cadenas de pensamiento funcionan y pueden mejorar el rendimiento de los modelos. El razonamiento estructurado puede potenciar aún más el efecto.

Amanda: Si eliminas el proceso de razonamiento por el que el modelo llega a la respuesta correcta y lo sustituyes por un razonamiento que parece razonable pero que lleva a la respuesta equivocada, comprueba si el modelo llega a la conclusión errónea.

Zack: Hacer que el modelo escriba una historia antes de completar la tarea no funciona tan bien como una cadena de pensamiento.

Alex: Esto sugiere que el proceso de razonamiento influye en el resultado.

Amanda: He visto casos en los que los pasos del razonamiento no coinciden pero acaban dando con la respuesta correcta.

Sobre la necesidad de gramática y puntuación en los avisos (40:47-45:19)

Alex: ¿Requiere el texto atención a la gramática y la puntuación?

Zack: Prestaré atención a estos detalles porque es divertido, pero no es necesario. Lo importante es que prestes atención a los detalles.

Amanda: A menudo cometo faltas de ortografía en mis indicaciones, pero me preocupa más la expresión clara de los conceptos.

David: Esto está relacionado con el modelo preentrenado y el modelo RLHF. La probabilidad condicional de errores ortográficos es mayor en el modelo preentrenado. Aplicar la intuición del modelo preentrenado al modelo en el entorno de producción no siempre funciona.

Alex: El diálogo con los modelos puede considerarse hasta cierto punto una forma de mimetismo.

David: El modelo adapta su comportamiento a tus entradas.

La diferencia entre consejos comerciales, consejos de investigación y charla general (45:20-50:53)

Alex: ¿Cuál es la diferencia entre consejos de negocios, consejos de investigación y charla general?

Zack: Las instrucciones basadas en la investigación se centran más en la variedad y la exploración de las posibilidades del modelo y, por lo tanto, tienen menos ejemplos o ninguno para evitar una dependencia excesiva de los ejemplos para el modelo. Por el contrario, las instrucciones para empresas se centran más en la fiabilidad y la coherencia del formato, por lo que utilizan un gran número de ejemplos.

Amanda: Los ejemplos que utilizo suelen ser diferentes de los datos con los que trabajará el modelo, y su objetivo es ilustrar conceptos más que hacer que el modelo los memorice. Para las tareas cognitivas, quiero que el modelo entienda realmente la respuesta correcta en cada ejemplo.

David: En Claude.ai, sólo necesito que el modelo complete la tarea correctamente una vez. Pero en una aplicación empresarial, los avisos deben ser capaces de responder a una gran variedad de situaciones y datos de entrada.

Sugerencias para mejorar los conocimientos de ingeniería del taco (50:54-53:57)

Alex: ¿Sugerencias para mejorar las puntas de ingeniería?

Zack: Lea excelentes consejos y resultados de modelos, analice sus principios y experimente con ellos, hable con los modelos más a menudo.

Amanda: Enseña tus consejos a los demás, sobre todo a los que no conocen tu trabajo. Sigue practicando y mira tus consejos desde la perspectiva de un "principiante".

David: Intenta que el modelo haga algo que no crees que pueda hacer.

Acerca del jailbreak (53:58-56:54)

Alex: ¿Qué ocurre dentro del modelo cuando la gente escribe pistas para el jailbreak?

Amanda: Una posibilidad es que la pista de la fuga desvíe el modelo de la distribución de los datos de entrenamiento.

Zack: El jailbreaking a veces parece una combinación de piratería informática e ingeniería social.

Evolución de la ingeniería del taco (56:55-64:33)

Alex: ¿Cómo ha cambiado el proyecto en los últimos tres años?

Zack: Incorporaremos técnicas eficaces de ingeniería de indicios en el entrenamiento de modelos, por lo que las mejores técnicas suelen durar poco.

David: Poco a poco he aprendido a respetar la capacidad de los modelos para darles más información y contexto.

Amanda: Yo le daría el papel directamente al modelo y dejaría que aprendiera la técnica de cueing por sí solo.

David: A menudo se subestima el poder de la modelización y se intenta reducir el problema al "nivel de Claude".

Amanda: Intentaré entrar en el "espacio mental" del modelo, lo que afectará a la forma en que escribo las indicaciones.

Zack: Para mí es más fácil entrar en el espacio mental de un modelo preentrenado.

Amanda: Leer contenidos en Internet puede ser más útil para comprender el modelo que leer un libro.

Consejos para el futuro de la ingeniería (64:34-fin)

Alex: ¿Cuál es el futuro de la ingeniería del taco? ¿Nos convertiremos todos en ingenieros del taco?

David: Siempre es necesario especificar los objetivos del modelo, y es importante expresarlos con claridad. Las herramientas y los métodos seguirán evolucionando, y los modelos pueden ayudarnos a escribir mejores indicaciones.

Zack: Utilizaremos más los modelos para ayudar a impulsar el proyecto, por ejemplo para generar ejemplos.

Amanda: En la actualidad escribo principalmente meta-prompts que permiten al modelo generar la salida que quiero. En el futuro, el modelo puede actuar como un diseñador, interactuando con nosotros y guiándonos para que digamos lo que realmente queremos.

David: Haré que Claude me "entreviste" para extraer la información.

Amanda: Por ahora, tenemos que comunicar al modelo los conceptos que tenemos en la cabeza y, en el futuro, el modelo podrá guiarnos activamente para que los digamos. La formación filosófica me ayuda a expresar conceptos complejos con claridad.

Alex: Extraer información de los usuarios será aún más importante.

Zack: La ingeniería es como la enseñanza: hay que "empatizar" con los alumnos. En el futuro, tenemos que ser "introspectivos" y dejar que los modelos nos entiendan.

Amanda: A menudo defino nuevos conceptos para expresar claramente mis ideas.

Alex: Amanda lo resume perfectamente: exteriorizar tus ideas a un profano culto.

Resumen:

Esta mesa redonda se centra en la ingeniería de cueing y abarca una amplia gama de aspectos como su definición, las cualidades de un buen ingeniero de cueing, la forma en que interactúa con el modelo, las aplicaciones a nivel empresarial, las aplicaciones de investigación y las orientaciones futuras. Entre los puntos centrales figuran:

- La clave de la ingeniería del taco es una comunicación clara y la comprensión de las capacidades del modelo.

- Los buenos ingenieros de avisos deben ser capaces de articular con claridad, iterar, anticiparse a los errores y pensar sistemáticamente.

- A medida que aumenten las capacidades del modelo, la ingeniería de pistas se centrará más en cómo extraer información del usuario, en lugar de emitir órdenes al modelo en una dirección unidireccional.

- El futuro de la ingeniería de pistas puede parecerse a la interacción entre un diseñador y un cliente, con el modelo asumiendo un papel más proactivo a la hora de guiar al usuario para que exprese sus necesidades.

- La formación filosófica ayuda a mejorar las habilidades de ingeniería del taco porque la filosofía hace hincapié en la expresión clara y precisa de conceptos complejos.