ChainForge: среда визуального программирования с открытым исходным кодом для тестирования и оценки эффективности больших языковых моделей подсказок

Общее введение

ChainForge - это среда визуального программирования с открытым исходным кодом, предназначенная для тестирования и оценки эффективности подсказок для больших языковых моделей (LLM). ChainForge поддерживает широкий спектр поставщиков моделей, включая OpenAI, HuggingFace, Anthropic и т.д., и позволяет пользователям сравнивать и оценивать несколько моделей в едином интерфейсе. Инструмент особенно хорошо подходит для изучения подсказок на ранних этапах и быстрой итерации, помогая пользователям оптимизировать настройки подсказок и моделей для достижения оптимального качества реакции.

Список функций

• Многомодельные запросыЗапрашивайте несколько LLM одновременно, чтобы быстро проверить идеи и варианты подсказок.
• Сравнение качества ответов: Сравнение качества ответов по сигналам, моделям и настройкам модели.
• Оценка визуализации: Настройте метрики оценки и мгновенно визуализируйте результаты подсказок, параметров, моделей и настроек.
• многоуровневый диалог: Несколько раундов диалога между параметрами шаблона и моделью чата, проверка и оценка результатов каждого раунда диалога.
• Шаблонные советы: Вы можете не только создавать шаблоны подсказок, но и шаблоны последующих сообщений в чате.
• Примеры потоков оценки: Приведите несколько примеров потоков оценки, чтобы продемонстрировать возможные сценарии использования.
• Локальная и онлайн-установка: Поддерживает локальную установку и пробную версию в Интернете, обеспечивая гибкость использования.
• Поддержка нескольких моделей: Поддержка OpenAI, HuggingFace, Anthropic, Google PaLM2, Azure OpenAI и многих других поставщиков моделей.

Использование помощи

Процесс установки

локальная установка

1. Убедитесь, что установлен Python 3.8 или более поздней версии.
2. Выполните следующую команду, чтобы установить ChainForge:

   pip install chainforge

3. После завершения установки выполните следующую команду, чтобы запустить сервер ChainForge:

   chainforge serve

4. Откройте браузер и посетите localhost:8000Вы можете начать использовать ChainForge прямо сейчас.

Установка с помощью Docker

1. Создайте образ Docker:

   docker build -t chainforge .

2. Запустите контейнер Docker:

   docker run -p 8000:8000 chainforge

3. Откройте браузер и посетите 127.0.0.1:8000Вы можете начать использовать ChainForge прямо сейчас.

Руководство по использованию

1. Установка ключа API: Нажмите на значок "Настройки" в правом верхнем углу и введите ключ API для OpenAI, Anthropic, Google PaLM и т.д.
2. Создайте новый проект: Нажмите кнопку "Новый проект" и выберите нужную модель и шаблон подсказки.
3. Добавление советов и моделей: Добавьте в проект оперативные шаблоны и модели и задайте различные параметры для тестирования.
4. Оперативная оценка: При нажатии кнопки "Выполнить" ChainForge автоматически запросит все выбранные модели и отобразит результаты ответа.
5. Сравнение и визуализация: Используйте средства визуализации для сравнения качества ответов на различные подсказки и модели и выбора оптимальных параметров подсказок и моделей.
6. Сохранить и поделиться: После завершения проекта вы можете сохранить оценку и создать ссылку для совместного использования, чтобы поделиться ею с другими.

Примеры потоков оценки

ChainForge предоставляет несколько примеров потоков оценки, чтобы помочь пользователям быстро начать работу. Например, вы можете использовать пример "Сравнение длины реакции" для сравнения длины реакции разных моделей с одинаковыми подсказками. Вы также можете создавать собственные потоки оценки с определенными показателями и визуализацией.

Дополнительные возможности

• Индивидуальные узлы оценки: Пользователи могут написать код на Python, чтобы настроить узлы оценки для более сложной оценки ответов.
• Оценка многораундового диалога: Поддерживается несколько раундов оценки диалога, что позволяет пользователям проверять качество ответов для разных раундов диалога.
• Экспорт данных: Результаты оценки можно экспортировать в таблицу Excel для дальнейшего анализа.

ChainForge - это мощный инструмент для исследователей, разработчиков и специалистов по обработке данных, помогающий оптимизировать настройки подсказок и моделей и повысить качество ответов LLM.