Какова цель установки галочки OpenRouter Transforms в Roo Cline?

Open Roo Клайн При установке модели поставщика услуг OpenRouter вы увидите следующие настройки:

Он расскажет вам о том, что такое OpenRouter Transforms. Простое объяснение: когда вы сталкиваетесь со слишком длинным контекстом, он поможет вам удалить среднюю часть перед тем, как отправить ее в модель.

Подробно описано ниже OpenRouter и роль средних преобразований.

История вопроса: ограничения длины контекста модели

Во-первых, вам нужно понять концепцию:Предельная длина контекста модели.

• Большие языковые модели (LLM) не обладают неограниченной памятью на предыдущие диалоги при обработке текста.
• Каждая модель имеет максимальную длину контекста (понимаемую как "окно памяти"), за пределами которого модель не может запомнить предыдущие входы.
• Например, модель может иметь 8k жетоны (что составляет около 6000 слов) в контексте. Если вы введете более 8 тыс. лексем, модель может забыть самую первую часть текста, что приведет к снижению качества ответа.

Решение OpenRouter: преобразования

Для решения этой проблемы OpenRouter предоставляет параметр transforms, который позволяет предварительно обработать подсказки, отправляемые в модель для основной цели:

1. Обрабатывает подсказки, длина которых не соответствует контексту: Если ваши подсказки (включая историю диалога) слишком длинны для контекста модели, OpenRouter может сжать или усечь подсказки, чтобы они соответствовали ограничениям модели, с помощью параметра transforms.
2. Индивидуальная обработка кия: transforms работает не только с ограничениями длины, но в будущем может предоставить больше функциональности, например, для работы с подсказками:
   • Автоматические оповещения о переводе
   • Добавление специальных инструкций

преобразование в середину

middle-out - единственное преобразование, доступное на данный момент в transforms:Сжимайте или удаляйте сообщения в середине подсказки, чтобы уложиться в ограничение длины контекста в модели.

В частности, она работает следующим образом:

1. Обнаруживает чрезмерную длину: middle-out проверяет, не превышает ли общая длина вашей подсказки (или списка сообщений) длину контекста модели.
2. Сожмите среднюю часть: Если оно превышено, middle-out будет предпочтительно сжимать или удалять сообщение в средней части подсказки. Это основано на наблюдении, что LLM склонна уделять больше внимания началу и концу и меньше - средней части при обработке текста. Поэтому жертвование средней частью сообщения обычно обеспечивает качество ответа модели.
3. Сохраните голову и хвост: В середине аута постарайтесь максимально сохранить начальную и конечную части подсказки, так как в этой части обычно содержится важная информация, например:
   • первобытная инструкция
   • Последние данные пользователей
4. Сократите количество сообщений: Помимо сжатия длины, middle-out также уменьшает количество сообщений в списке сообщений, поскольку некоторые модели (такие как АнтропологияКлод) Также существует ограничение на количество сообщений.

Поведение по умолчанию и отключение промежуточного выхода

• По умолчанию включено: Если вы используете конечную точку OpenRouter с длиной контекста меньше или равной 8k, преобразование middle-out включено по умолчанию. То есть, если ваша подсказка превышает длину контекста, OpenRouter автоматически сожмет ее для вас.
• Явно отключено: Если вы не хотите, чтобы OpenRouter автоматически сжимал ваши подсказки, вы можете задать transforms: [] в теле запроса, чтобы указать, что преобразования не используются.

Когда использовать middle-out

• История диалога слишком длинная: Когда вы ведете диалог в несколько раундов, с накапливающейся историей, которая может превышать контекстную длину модели, middle-out поможет вам сохранить связность диалога.
• Меньшая длина контекста модели: Если вы используете модель с небольшой длиной контекста, middle-out позволяет вводить более длинный текст, не заставляя модель "забыть" о предыдущем вводе.
• Избегайте потери информации: Хотя при middle-out удаляется часть промежуточной информации, он разработан с целью максимального сохранения важной информации и минимизации последствий ее потери.

Когда не стоит использовать middle-out

• Индивидуальная обработка: Если вы хотите полностью контролировать обработку подсказок или использовать собственный алгоритм сжатия, вы можете не использовать middle-out и самостоятельно определять длину подсказок.
• Необходим полный контекст: В некоторых сценариях, когда может потребоваться полный контекст, а удаление информации в середине вызовет серьезные проблемы, использование middle-out может быть нецелесообразным.

резюме

Основное назначение трансформаций и middle-out - это:

• Упрощение обработки подсказок о длине вне контекста: Отказ от ручного управления и усечения подсказок позволяет модели обрабатывать более длинные тексты и истории диалогов.
• Улучшение пользовательского опыта: Особенно для моделей с небольшой длиной контекста, что облегчает пользователям использование возможностей модели.
• Оптимизация качества ответов модели: Сохраняйте как можно больше важной информации в ограниченном по длине контексте, чтобы уменьшить забывание модели.