Promptimizer: una biblioteca experimental para la optimización de grandes modelos de palabras clave, que optimiza automáticamente Prompt

Introducción general

Promptimizer es una biblioteca experimental de optimización de palabras clave diseñada para ayudar a los usuarios a mejorar sistemáticamente las palabras clave de sus sistemas de IA. Al automatizar el proceso de optimización, Promptimizer puede mejorar el rendimiento de las palabras de referencia en tareas específicas. Los usuarios sólo tienen que proporcionar una palabra clave inicial, un conjunto de datos y un evaluador personalizado (con comentarios humanos opcionales), y Promptimizer ejecuta un bucle de optimización que genera una palabra clave optimizada diseñada para superar el rendimiento de la palabra clave original.

Lista de funciones

• Optimización de palabras clave: optimización automática de palabras clave para mejorar el rendimiento del sistema de IA en tareas específicas.
• Compatibilidad con conjuntos de datos: admite varios formatos de conjuntos de datos para facilitar la optimización de palabras clave.
• Evaluadores personalizados: los usuarios pueden definir evaluadores personalizados para cuantificar el rendimiento de las palabras clave.
• Feedback humano: el feedback humano es compatible para mejorar aún más la optimización de las palabras clave.
• Guía de inicio rápido: Se proporciona una guía de inicio rápido detallada para ayudar a los usuarios a empezar a utilizar el sistema rápidamente.

Utilizar la ayuda

montaje

1. Primero instale la herramienta CLI:

   pip install -U promptim
   

2. Asegúrese de que dispone de una clave API LangSmith válida en su entorno:

   export LANGSMITH_API_KEY=你的API_KEY
   export ANTHROPIC_API_KEY=你的API_KEY
   

Creación de tareas

1. Crear una tarea de optimización:

   promptim create task ./my-tweet-task \
   --name my-tweet-task \
   --prompt langchain-ai/tweet-generator-example-with-nothing:starter \
   --dataset https://smith.langchain.com/public/6ed521df-c0d8-42b7-a0db-48dd73a0c680/d \
   --description "Write informative tweets on any subject." \
   -y
   

   Este comando generará un directorio que contendrá el archivo de configuración de la tarea y el código de la tarea.

Definición del evaluador

1. Abra el directorio de tareas generado en task.py para encontrar la sección de lógica de evaluación:

   score = len(str(predicted.content)) < 180
   

2. Modificar la lógica de evaluación, por ejemplo, penalizar la salida que contenga etiquetas:

   score = int("#" not in result)
   

tren

1. Ejecuta el comando de entrenamiento para empezar a optimizar la palabra clave:

   promptim train --task ./my-tweet-task/config.json
   

   Una vez finalizado el entrenamiento, el terminal emite la palabra clave final optimizada.

Añadir etiquetas manuales

1. Configure la cola de anotaciones:

   promptim train --task ./my-tweet-task/config.json --annotation-queue my_queue
   

2. Acceda a la interfaz de usuario de LangSmith y navegue hasta la cola designada para el etiquetado manual.