voyage-3 и voyage-3-lite: новое поколение небольших, но мощных моделей встраивания общего назначения

рефераты - Мы рады объявить о запуске voyage-3 ответить пением voyage-3-lite встроенные модели, которые достигли новых высот в плане качества поиска, задержки и стоимости.voyage-3 Среднее повышение производительности на 7,55% по сравнению с OpenAI v3 во всех оценочных доменах, включая кодекс, право, финансы, многоязычие и длинные контексты, а также снижение стоимости в 2,2 раза и уменьшение размеров встраивания в 3 раза, что приводит к снижению стоимости векторной базы данных в 3 раза.voyage-3-lite Она повышает точность поиска на 3,82% по сравнению с OpenAI v3 large, снижает стоимость в 6 раз и уменьшает размеры встраивания в 6 раз. Обе модели поддерживают длину контекста 32K-токенов, что в 4 раза больше, чем у OpenAI.

За последние девять месяцев мы выпустили серию наборов для встраиваемых моделей Voyage 2, которые включают в себя такие функции, как voyage-large-2 Такие современные модели общего назначения, а также ряд моделей, специфичных для конкретной области, такие как voyage-code-2, иvoyage-law-2, иvoyage-finance-2 ответить пением voyage-multilingual-2Все эти модели адекватно обучены на данных из соответствующих областей. Например.voyage-multilingual-2 Отличные показатели на французском, немецком, японском, испанском и корейском языках, а также лучшие в своем классе показатели на английском языке. Мы также доработали модель для конкретных случаев использования и данных для конкретных организаций, таких как Harvey.ai модели правового встраивания.

Теперь мы рады представить линейку встраиваемых моделей Voyage 3, включая voyage-3 ответить пением voyage-3-liteи будет доступен через несколько недель voyage-3-large. Эти модели превосходят конкурентов по качеству поиска, при этом значительно снижая цену и последующую стоимость vectorDB. А именно.voyage-3 Со следующими характеристиками:

• Производительность в среднем на 7,55% выше, чем у OpenAI v3 large во всех восьми областях оценки (техническая, код, веб, юридическая, финансовая, многоязычная, защита и длинный контекст).
• Стоимость в 2,2 раза меньше, чем у OpenAI v3 large, в 2,2 раза меньше, чем у Cohere Показатель English v3 в 1,6 раза ниже на 1 миллион человек. жетоны Стоимость составляет $0.06.
• размерность встраивания, чем у OpenAI (3072) и E5 Мистраль (4096) в 3-4 раза меньше (1024), что снижает стоимость векторной БД в 3-4 раза.
• Поддерживает контекст длиной 32K-токенов, по сравнению с 8K у OpenAI и 512 у Cohere.

voyage-3-lite Это легкая модель, оптимизированная для задержки и низкой стоимости, с такими функциями, как:

• Средняя производительность по доменам на 3,82% выше, чем у OpenAI v3 large.
• Стоимость в 6,5 раз ниже, чем у OpenAI v3 large, - $0,02 за 1 миллион токенов.
• Он превосходит OpenAI v3 small на 7,58% при той же цене.
• Размерность встраивания в 6-8 раз меньше (512), чем у OpenAI (3072) и E5 Mistral (4096), что снижает стоимость векторной БД в 6-8 раз.
• Поддерживает контекст длиной 32K-токенов, по сравнению с 8K у OpenAI и 512 у Cohere.

В следующей таблице приведены важные аспекты этих моделей и некоторых их конкурентов, а также графическое представление взаимосвязи между качеством поиска и стоимостью2 .

voyage-3 ответить пением voyage-3-lite это результат целого ряда исследовательских инноваций, включая усовершенствованную архитектуру, дистилляцию из более крупных моделей, более 2 триллионов высококачественных Токен предварительное обучение и согласование результатов поиска с помощью обратной связи с человеком.

отзывы. Любой пользователь встроенной системы может перейти на voyage-3 более высокое качество поиска по низкой цене, или выбрать voyage-3-lite Дополнительное снижение затрат. Если вам особенно важен поиск по коду, юридическим, финансовым и многоязычным запросам, модели серии Voyage 2, ориентированные на конкретные домены (voyage-code-2, иvoyage-law-2, иvoyage-finance-2 ответить пением voyage-multilingual-2) остаются лучшим выбором в своих областях, даже несмотря на то, что voyage-3 Производительность также очень конкурентоспособна (см. раздел ниже). Если вы уже используете Voyage Embedding, просто добавьте новый раздел в API Voyage Звонок будет model Параметр задается в виде "voyage-3" возможно "voyage-3-lite", который может быть использован для создания корпуса и запросов.

Детали оценки

набор данных. Мы провели оценку на 40 поисковых наборах, охватывающих восемь доменов, включая технические документы, кодекс, право, финансы, веб-обзоры, многоязычные, длинные документы и диалоги. Каждый набор данных содержит корпус документов, которые необходимо извлечь, и набор запросов. Корпус обычно состоит из документов в определенной области, таких как ответы на StackExchange, судебные заключения, технические документы и т. д.; запросы могут быть вопросами, резюме длинных документов или отдельными документами. В таблице ниже перечислены наборы данных в восьми категориях, помимо многоязычной. Многоязычный домен охватывает 62 набора данных на 26 языках, включая французский, немецкий, японский, испанский, корейский, бенгальский, португальский и русский. Первые пять из этих языков содержат несколько наборов данных, в то время как остальные языки содержат по одному набору данных на язык и сгруппированы в категорию ДРУГИЕ на многоязычной диаграмме ниже.

Список всех наборов данных для оценки можно найти в разделе Эта электронная таблица Смотреть в.

моделирование. Мы оценили voyage-3 ответить пением voyage-3-lite, а также ряд альтернативных моделей, в том числе: OpenAI v3 small (text-embedding-3-small) и большие (text-embedding-3-large), E5 Mistral (intfloat/e5-mistral-7b-instruct), BGE M3 (BAAI/bge-m3Cohere English v3.embed-english-v3.0) и voyage-large-2-instruct. Для наборов данных, специфичных для конкретного домена и многоязычных, мы также оценили voyage-law-2, иvoyage-finance-2, иvoyage-multilingual-2Многоязычный E5.infloat/multilingual-e5-large) и Cohere multilingual v3 (embed-multilingual-v3.0).

норма. Для запроса мы извлекаем 10 лучших документов на основе косинусного сходства и сообщаемНормализованная дисконтированная накопленная прибыль(NDCG@10), который является стандартным показателем качества поиска и вариантом отзыва.

в конце концов

Междоменный поиск. Как уже упоминалось ранее и показано на первой диаграмме радара в этой статье,voyage-3 В среднем на 7,55% лучше, чем OpenAI v3 large по нескольким доменам. Кроме того, как показано на гистограмме ниже.voyage-3 производительность лишь немного ниже, чем у модели Voyage, ориентированной на конкретный домен.

многоязычный поиск. Как показано на диаграмме радара ниже.voyage-3 Качество многоязычного поиска лишь немного уступает качеству voyage-multilingual-2но с меньшей задержкой и вдвое меньшей стоимостью.voyage-3-lite По сравнению с OpenAI v3 large, Cohere multilingual v3 и Multilingual E5 все модели, не относящиеся к Voyage, превосходят на 4,55%, 3,13% и 3,89% соответственно.

Все результаты оценки доступны на сайте Эта электронная таблица Смотреть в.

Попробуйте серию Voyage 3!

Попробуйте прямо сейчас voyage-3 ответить пением voyage-3-lite! Первые 200M токенов - бесплатно. Зайдите на наш сайт (компьютерный) файл Узнайте больше. Если вы заинтересованы в более тонкой настройке встраивания, мы будем рады услышать и вас - пожалуйста, свяжитесь с нами по адресу contact@voyageai.com Свяжитесь с нами. Следите за нами на X (Twitter) ответить пением LinkedInи присоединяйтесь к нашему Дискорд для более подробной информации.

1. Среднее значение NDCG@10 для Cohere English v3 на наборах данных LAW и LONG-CONTEXT составляет 33,32% и 42,48% соответственно. При визуализации радарграмм мы округлили эти значения до 45%.
2. E5 Mistral и BGE M3 - это модели с открытым исходным кодом. Мы используем $0.10 в качестве стоимости E5 Mistral, что соответствует отраслевому стандарту для 7B параметрических моделей, и $0.016 для BGE M3, что основано на стоимости Fireworks.ai для 350M параметрических моделей. цены По оценкам.