Cómo configurar Mixtral-8x22B | Primeros pasos con consejos básicos de modelado [translated]

Ya está disponible el Mixtral 8x22B, la primera vez que se comercializa un modelo de código abierto del tipo GPT-4.

Sin embargo, no se trata de un modelo de mando optimizado, sino de un modelo de base.

Esto significa que tenemos que dar pistas de una forma totalmente nueva.

Aunque esto es más difícil, no es imposible de conseguir.

Una guía concisa de consejos básicos para modelar:

El modelo base se solicita de la misma manera que como ChatGPT Estos modelos de optimización de comandos son muy diferentes. Piense en ellos como en súper herramientas de autocompletado. No están diseñados para mantener un diálogo, sino para complementar cualquier texto que les proporciones.

Esta distinción dificulta la incitación, ¡pero abre más posibilidades!

Por ejemplo, el modelo base es mucho más expresivo que el ChatGPT que conoces, y habrás notado que las respuestas generadas por ChatGPT suelen ser fácilmente reconocibles porque ha sido profundamente ajustado. Básicamente, su estilo y comportamiento son fijos. Es muy difícil conseguir que innove más allá del modelo en el que fue entrenado. Pero el modelo subyacente esconde infinitas posibilidades, a la espera de que usted las descubra.

Cómo considerar las sugerencias al modelo subyacente:

Cuando des indicaciones al modelo base, no pienses demasiado en cómo describirle lo que quieres que haga, sino más bien en mostrarle lo que quieres que haga. Hay que meterse de lleno en la mente del modelo y pensar en cómo piensa.

El modelo subyacente es esencialmente un reflejo de sus datos de entrenamiento. Si eres capaz de entender esto, puedes hacer maravillas.

Por ejemplo, si quiere que el modelo escriba un artículo de noticias titulado "El impacto de la inteligencia artificial en la sanidad", debe tener en cuenta dónde puede haber encontrado artículos similares en sus datos de entrenamiento. Probablemente en un sitio web de noticias, ¿verdad?

Teniendo esto en cuenta, puede crear un aviso que utilice este concepto, incluyendo algunos elementos similares a los que podrían contener las páginas de artículos reales. Por ejemplo:

Inicio | Titulares | Opinión

Tiempos de Inteligencia Artificial

--

El impacto de la inteligencia artificial en la sanidad

En la siguiente captura de pantalla puedes ver que, al poner al modelo en una situación similar a la que podría haber visto en sus datos de entrenamiento, ¡terminó escribiendo un artículo!

Pero este método no es perfecto. La redacción del artículo no fluye lo suficiente y aún no hay garantías de que se genere un artículo.

¿Cómo mejorar la fiabilidad?

Añadiendo ejemplos.

El modelo básico responde muy bien a los avisos de pocos disparos. Añadamos algunos ejemplos a la pregunta. Para hacerlo más rápido, tomaré algunos artículos de Internet y los añadiré en la parte superior de la pregunta (no me culpes, esto es sólo una demostración y no entrará en producción). .

Como puede ver, con estos pocos ejemplos, el artículo mejora notablemente.

Hablemos del análisis sintáctico:

Uno de los principales retos cuando se trabaja con modelos de base es analizar su salida. En el caso de los modelos instructivos, basta con darles instrucciones para que emitan en un formato determinado; por ejemplo, puedes pedirles que "respondan en JSON", que es muy fácil de analizar. Pero en el caso de los modelos de base, esto no es tan fácil.

He aquí una técnica que utilizo a menudo, llamada "model leading".

Suponiendo que necesite generar una lista de títulos de artículos, casi puede obligar al modelo a responder en formato de lista añadiendo los dos primeros caracteres de una matriz al final de la consulta después de describir sus necesidades. He aquí un ejemplo:

Mira cómo he añadido '["' para terminar el prompt. Este sencillo truco le permite generar datos analizables utilizando el modelo subyacente.

Métodos más avanzados:

La introducción anterior son sólo algunos métodos sencillos de aplicación del modelo básico. Existen muchas más técnicas eficaces que pueden ayudarnos a obtener mejores resultados.

Por ejemplo, una forma de hacerlo es que el modelo piense que es un intérprete de Python.

Puede que esto no suene intuitivo, pero en la práctica funciona muy bien.

Por ejemplo, puede intentar escribir un aviso que acorte el texto. Vea el aviso en la captura de pantalla, que es una aplicación práctica del método.

Como puedes ver, en realidad creamos un prompt que simula el intérprete de Python y hacemos que el modelo simule la salida del intérprete. Como la función que estamos llamando es para acortar el texto, ¡el modelo da una versión corta del texto!

Como puede ver así, usar el modelo base para avisar es muy diferente que cuando se usa el modelo de chat o guía. ¡Espero que esto sea útil para todos aquellos que utilizan el Mixtral 8x22B!