R1 Overthinker: заставляем модели DeepSeek R1 думать дольше

Общее введение

DeepSeek R1 Overthinker - это специализированное программное обеспечение для повышения DeepSeek R1 Инструмент, предназначенный для глубокого мышления моделей. Удлиняя процесс рассуждений модели, инструмент позволяет ей мыслить более глубоко, тем самым повышая качество и точность ее ответов. Инструмент использует unsloth Оптимизированные модели с поддержкой неограниченной длины контекста (в зависимости от доступной VRAM). Пользователи могут настраивать расширения вывода и пороги обдумывания, тонко управлять параметрами модели (например, температурой, top-p и т. д.) и отслеживать в реальном времени обдумывание модели. жетон Графы. DeepSeek R1 Overthinker подходит для широкого спектра конфигураций VRAM и поддерживает широкий диапазон размеров моделей (от 1,5 до 70 Б параметров).

Принцип проекта заключается в том, чтобы постоянно проверять результат и заменять на предложение переосмысления, которое и вдохновило проект:r1_overthinker .

Список функций

• Заставляя модели думать дольше и глубже
• Пользовательские расширения рассуждений и пороги мышления
• Тонкий контроль параметров модели (температура, топ-р и т.д.)
• Видимость мыслительных процессов в реальном времени и отслеживание количества токенов
• Поддержка математических выражений LaTeX
• Оптимизировано для различных конфигураций VRAM
• Поддерживаются модели разных размеров (от 1,5 до 70 ББ параметров)

Использование помощи

Процесс установки

1. быть в движении Google Colab.

Руководство по использованию

1. запустить приложение::
   • быть в движении python r1_overthinker.py Запустите приложение.
   • Когда приложение запускается, оно загружает модель DeepSeek R1 и готовится к обработке входных данных.
2. обработка ввода::
   • Введите предложение или абзац, и приложение обработает его с помощью расширенного процесса рассуждений.
   • Приложение обнаруживает, когда модель пытается завершить свои размышления, и заменяет их подсказками, побуждающими к дальнейшим рассуждениям, пока не будет достигнут заданный пользователем порог времени размышлений.
3. Индивидуальное время для размышлений::
   • Пользователи могут указать пороговые значения времени, например, при запуске приложения:

     python r1_overthinker.py --min-think-time 10
     

   • Приведенная выше команда установит минимальное время, необходимое модели для обдумывания, на 10 секунд.
4. Посмотреть результаты::
   • По завершении обработки приложение выводит результаты расширенного рассуждения, и пользователь может просмотреть более глубокий процесс рассуждения модели.

Подробная процедура работы

1. Настройки инициализации::
   • При первом использовании убедитесь, что все зависимости установлены правильно и выполнены начальные настройки.
   • Проверьте наличие VRAM, чтобы убедиться, что большие длины контекста могут быть обработаны.
2. Обработка входного текста::
   • Введите текст для обработки, и приложение автоматически определит и расширит процесс вывода модели.
   • Во время обработки пользователь может просматривать ход рассуждений и текущее состояние модели в режиме реального времени.
3. Пользовательские настройки::
   • Пользователи могут настраивать пороговые значения времени размышления и другие параметры по мере необходимости, чтобы получить наилучшие результаты.
   • Приложение поддерживает широкий спектр настраиваемых параметров, которые пользователи могут гибко регулировать в соответствии с различными сценариями использования.
4. Вывод результатов::
   • По завершении обработки приложение выводит полные результаты рассуждений, которые пользователь может просмотреть и проанализировать ход мыслей модели.
   • Полученные результаты поддерживают различные форматы, что позволяет пользователям сохранять их и обрабатывать по мере необходимости.