Promptimizer: экспериментальная библиотека для оптимизации больших моделей слов подсказок, автоматически оптимизирующая Prompt

Общее введение

Promptimizer - это экспериментальная библиотека оптимизации слов подсказок, разработанная для того, чтобы помочь пользователям систематически улучшать слова подсказок в своих системах искусственного интеллекта. Автоматизируя процесс оптимизации, Promptimizer может улучшить производительность подсказок для конкретных задач. Пользователи просто предоставляют исходное подсказочное слово, набор данных и пользовательский оценщик (с дополнительной обратной связью от человека), и Promptimizer запускает цикл оптимизации, который генерирует оптимизированное подсказочное слово, призванное превзойти исходное подсказочное слово.

Список функций

• Оптимизация слов подсказок: автоматическая оптимизация слов подсказок для улучшения работы системы искусственного интеллекта при выполнении конкретных задач.
• Поддержка наборов данных: поддержка нескольких форматов наборов данных для удобной оптимизации слов подсказок.
• Пользовательские оценщики: пользователи могут определять пользовательские оценщики для количественной оценки эффективности слов-подсказок.
• Обратная связь с человеком: поддерживается обратная связь с человеком для дальнейшего улучшения оптимизации слов подсказок.
• Руководство по быстрому запуску: подробное руководство по быстрому запуску поможет пользователям быстро начать работу.

Использование помощи

монтаж

1. Сначала установите инструмент CLI:

   pip install -U promptim
   

2. Убедитесь, что в вашей среде есть действующий ключ API LangSmith:

   export LANGSMITH_API_KEY=你的API_KEY
   export ANTHROPIC_API_KEY=你的API_KEY
   

Создание заданий

1. Создайте задачу оптимизации:

   promptim create task ./my-tweet-task \
   --name my-tweet-task \
   --prompt langchain-ai/tweet-generator-example-with-nothing:starter \
   --dataset https://smith.langchain.com/public/6ed521df-c0d8-42b7-a0db-48dd73a0c680/d \
   --description "Write informative tweets on any subject." \
   -y
   

   Эта команда создаст каталог, содержащий файл конфигурации задачи и код задачи.

Определение оценщика

1. Откройте каталог сгенерированных заданий в task.py файл, чтобы найти раздел логики оценки:

   score = len(str(predicted.content)) < 180
   

2. Изменить логику оценки, например, штрафовать вывод, содержащий метки:

   score = int("#" not in result)
   

поезд

1. Запустите команду обучения, чтобы начать оптимизацию слова-подсказки:

   promptim train --task ./my-tweet-task/config.json
   

   После завершения обучения терминал выдает окончательный вариант оптимизированного слова подсказки.

Добавить ручные теги

1. Настройте очередь аннотаций:

   promptim train --task ./my-tweet-task/config.json --annotation-queue my_queue
   

2. Войдите в пользовательский интерфейс LangSmith и перейдите к назначенной очереди для ручной маркировки.