루 클라인에서 오픈라우터 트랜스폼을 체크하는 목적은 무엇인가요?

오픈 루 Cline 모델 서비스 제공업체를 OpenRouter로 설정하면 다음과 같은 설정이 표시됩니다:

간단한 설명: 너무 긴 컨텍스트를 만나면 모델에 보내기 전에 중간 부분을 제거할 수 있도록 도와줍니다.

아래에서 자세히 설명합니다. OpenRouter 미들아웃 트랜스폼의 역할에 대해 알아보세요.

문제 배경: 모델 컨텍스트 길이 제한

먼저 개념을 이해해야 합니다:모델 컨텍스트 길이 제한.

• LLM(대규모 언어 모델)은 텍스트를 처리할 때 이전 대화의 메모리를 무제한으로 보유하지 않습니다.
• 각 모델에는 모델이 이전 입력을 기억할 수 없는 최대 컨텍스트 길이('메모리' 창으로 이해됨)가 있습니다.
• 예를 들어 한 모델에 8k 토큰 (약 6000단어)를 문맥에 맞게 입력합니다. 8천 개 이상의 텍스트를 입력하면 모델이 텍스트의 첫 부분을 잊어버려 응답 품질이 떨어질 수 있습니다.

OpenRouter의 솔루션: 혁신

이 문제를 해결하기 위해 OpenRouter는 주요 목적을 위해 모델에 전송되는 프롬프트를 사전 처리할 수 있는 변환 매개 변수를 제공합니다:

1. 컨텍스트 길이를 벗어난 프롬프트를 처리합니다: 프롬프트(대화 기록 포함)가 모델의 컨텍스트 길이에 비해 너무 긴 경우 OpenRouter는 트랜스폼 매개변수를 통해 모델의 제약 조건에 맞게 프롬프트를 압축하거나 잘라낼 수 있습니다.
2. 사용자 지정 큐 처리: 트랜스폼은 길이 제한만 처리하는 것이 아니라 향후 힌트 작업과 같은 더 많은 기능을 제공할 수 있습니다:
   • 자동 번역 알림
   • 구체적인 지침 추가

미들아웃 전환

중간-아웃은 현재 트랜스폼에서 사용할 수 있는 유일한 변환입니다:모델의 컨텍스트 길이 제한에 맞게 프롬프트 중간에 있는 메시지를 압축하거나 제거합니다.

구체적으로 다음과 같이 작동합니다:

1. 과도한 길이를 감지합니다: 중간은 프롬프트(또는 메시지 목록)의 총 길이가 모델의 컨텍스트 길이를 초과하는지 확인합니다.
2. 중간 부분을 압축합니다: 이 값을 초과하면 중간 아웃은 프롬프트의 중간 부분에 있는 메시지를 우선적으로 압축하거나 삭제합니다. 이는 LLM이 텍스트를 처리할 때 시작과 끝 부분에 더 많은 주의를 기울이고 중간 부분에는 덜 주의를 기울이는 경향이 있다는 관찰에 기반한 것입니다. 따라서 메시지의 중간 부분을 희생하면 일반적으로 모델 응답의 품질이 보장됩니다.
3. 머리와 꼬리를 유지합니다: 중간 아웃은 일반적으로 다음과 같은 중요한 정보를 포함하므로 프롬프트의 시작 부분과 끝 부분을 최대한 유지하려고 노력합니다:
   • 원시 교육
   • 최근 사용자 입력
4. 메시지 수를 줄이세요: 길이를 압축하는 것 외에도 중간 아웃은 메시지 목록의 메시지 수를 줄이기 때문에 일부 모델(예 인류학Claude) 또한 메시지 수에 제한이 있습니다.

기본 동작 및 미들아웃 비활성화하기

• 기본적으로 활성화됩니다: 컨텍스트 길이가 8k 이하인 OpenRouter 엔드포인트를 사용하는 경우 기본적으로 미들아웃 변환이 활성화됩니다. 즉, 프롬프트가 컨텍스트 길이를 초과하는 경우 OpenRouter가 자동으로 압축합니다.
• 명시적으로 비활성화되었습니다: OpenRouter가 프롬프트를 자동으로 압축하지 않도록 하려면 요청 본문에서 트랜스폼: []을 설정하여 트랜스폼이 사용되지 않음을 표시할 수 있습니다.

미들아웃을 사용해야 하는 경우

• 대화의 역사가 너무 길어요: 여러 차례의 대화가 있고 히스토리가 누적되어 모델의 컨텍스트 길이를 초과할 수 있는 경우 미들아웃을 사용하면 대화의 일관성을 유지하는 데 도움이 될 수 있습니다.
• 모델 컨텍스트 길이가 짧아집니다: 컨텍스트 길이가 짧은 모델을 사용하는 경우 중간 아웃을 사용하면 모델이 이전 입력을 '잊어버리지' 않고 더 긴 텍스트를 입력할 수 있습니다.
• 정보 유실을 방지하세요: 미들아웃은 일부 중간 정보를 제거하지만, 중요한 정보의 보존을 극대화하고 정보 손실의 영향을 최소화하는 것을 목표로 설계되었습니다.

미들아웃을 사용하지 않는 경우

• 맞춤형 처리: 프롬프트 처리 방식을 완전히 제어하거나 사용자 지정 압축 알고리즘을 사용하려는 경우 중간 아웃을 사용하지 않도록 선택한 다음 프롬프트의 길이를 직접 처리할 수 있습니다.
• 전체 컨텍스트가 필요합니다: 전체 컨텍스트가 필요할 수 있는 일부 시나리오에서는 중간에 정보를 제거하면 심각한 문제가 발생할 수 있으므로 현재로서는 미들아웃을 사용하는 것이 적절하지 않을 수 있습니다.

요약

트랜스폼과 미들아웃의 주요 목적은 다음과 같습니다:

• 상황에 맞지 않는 길이의 프롬프트 처리 간소화: 프롬프트의 수동 관리 및 잘림을 피하면 모델이 긴 텍스트 및 대화 기록을 처리할 수 있습니다.
• 사용자 경험 향상: 특히 컨텍스트 길이가 짧은 모델의 경우 사용자가 모델의 기능을 더 쉽게 활용할 수 있습니다.
• 모델 응답 품질 최적화제한된 컨텍스트 길이 내에서 가능한 한 많은 중요한 정보를 유지하여 모델 망각을 줄입니다.