ZeroSearch - Али Тонги запустил поисковую систему с открытым исходным кодом для больших моделей.

Что такое ZeroSearch

ZeroSearch является Alibaba Tongyi Labs с открытым исходным кодом инновационной большой модели поисковой системы рамки. Фреймворк не нуждается во взаимодействии с реальной поисковой системой, основан на моделировании поисковой системы, с большой моделью собственных знаний предварительного обучения для генерации релевантных или зашумленных документов, значительно снижая стоимость обучения (снижение 80% или более).ZeroSearch основан на легких контролируемых механизмах тонкой настройки и курсового обучения для постепенного улучшения способности модели к рассуждению для поддержки различных алгоритмов обучения с подкреплением (таких как PPO, GRPO). ZeroSearch демонстрирует отличную производительность на различных наборах данных Q&A и превосходит Google Search. ZeroSearch применим в различных сценариях, таких как интеллектуальные вопросы и ответы, создание контента, исследования и разработки, и обладает высокой масштабируемостью и универсальностью.

Ключевые особенности ZeroSearch

• Возможность аналогового поискаZeroSearch может имитировать функцию поиска поисковой системы и генерировать документы с запасом знаний самой большой модели, не полагаясь на внешние реальные поисковые системы, снижая стоимость использования и внешнюю зависимость.
• Гибкая генерация документовОн поддерживает генерацию высококачественных документов, связанных с запросом, или генерацию шумных документов, а также гибкое управление качеством документов на основе корректировки слов-подсказок, чтобы обеспечить разнообразные сценарии поиска для обучения модели.
• Эффективное снижение затратZeroSearch значительно снижает затраты на обучение по сравнению с обучением с использованием реальных поисковых систем для обучения с подкреплением, что делает крупномасштабное обучение экономически более целесообразным.
• высокая совместимостьОн совместим со многими большими моделями с различными масштабами параметров (например, 3B, 7B, 14B), поддерживает многие алгоритмы обучения с подкреплением (например, PPO, GRPO), обладает высокой масштабируемостью и универсальностью.

Адрес официального сайта ZeroSearch

• Веб-сайт проекта::https://alibaba-nlp.github.io/ZeroSearch/
• Репозиторий GitHub::https://github.com/Alibaba-nlp/ZeroSearch
• Библиотека моделей HuggingFace::https://huggingface.co/collections/sunhaonlp/zerosearch
• Технический документ arXiv::https://arxiv.org/pdf/2505.04588

Как использовать ZeroSearch

• Подготовка к защите окружающей среды::
  • Установка Python: Убедитесь, что в вашей системе установлен Python (рекомендуется Python 3.8 и выше).
  • Установка зависимых библиотек: Установите необходимые библиотеки Python, требуемые ZeroSearch. Обычно это можно сделать с помощью следующей команды:

pip install -r requirements.txt

• • Конкретные файлы зависимостей можно найти в репозитории GitHub.
• Получение кода и модели::
  • Клонирование репозитория GitHub: Клонируйте код из официального репозитория ZeroSearch на GitHub:

git clone https://github.com/Alibaba-nlp/ZeroSearch.git
cd ZeroSearch

• • Загрузите предварительно обученную модель: Загрузите необходимые файлы предварительно обученных моделей в соответствии с инструкциями ZeroSearch.
• Конфигурационная среда::
  • Настройка путей модели: Укажите путь к предварительно обученной модели в коде, чтобы ZeroSearch правильно загрузил модель.
  • Параметры настройки: При необходимости настройте параметры в конфигурационном файле или коде ZeroSearch, такие как размер модели, алгоритмы обучения с усилением, пути к обучающим данным и т. д.
• Запустите ZeroSearch::
  • обучение грунтовке: Запустите обучающий скрипт ZeroSearch. Запустите его, выполнив следующую команду:

python train.py

• • Конкретные имена и параметры скриптов могут отличаться в зависимости от версии, обратитесь к официальной документации.
• Тестирование и валидация: После завершения обучения производительность ZeroSearch проверяется на тестовом наборе данных, чтобы убедиться в правильности генерации соответствующих документов и ответов на вопросы.

Основные преимущества ZeroSearch

• Не требуется реального взаимодействия с поисковыми системамиZeroSearch основан на симуляции функциональности поисковых систем и полностью независим от внешних поисковых систем, что снижает затраты и зависимость.
• Значительное сокращение расходов: По сравнению с традиционными методами стоимость обучения в ZeroSearch значительно ниже, что делает масштабное обучение более экономически эффективным.
• Гибкие возможности создания документовСистема поддерживает создание высококачественных или зашумленных документов, которые можно гибко настраивать в соответствии с потребностями пользователя, чтобы удовлетворить разнообразные сценарии обучения.
• Мощная техническая реализация: Повышение производительности моделей и выводов на основе легкой контролируемой тонкой настройки, механизмов курсового обучения и механизмов вознаграждения на основе оценок F1.
• Широкий диапазон применимостиОн совместим с различными большими моделями и алгоритмами обучения с подкреплением и подходит для различных сценариев, таких как интеллектуальные вопросы и ответы, создание контента, образование и управление корпоративными знаниями.
• Открытый исходный код и поддержка сообщества: Будучи фреймворком с открытым исходным кодом, ZeroSearch предоставляет свободный доступ к коду и поддержку сообщества для легкой настройки и оптимизации.

Сценарии применения ZeroSearch

• Исследователи искусственного интеллекта: Обучение моделей и оптимизация алгоритмов на основе эффективной и недорогой системы поиска.
• разработчик систем обработки естественного языка: Быстрое создание приложений в таких областях, как умные вопросы и ответы и создание контента.
• Корпоративная техническая командаТехники оптимизируют управление знаниями предприятия и повышают эффективность внутреннего поиска.
• Преподаватели и студенты: Используется в онлайн-образовании и интеллектуальном репетиторстве для предоставления мгновенных ответов и поддержки в обучении.
• создатель контента: Создание контента для доступа к информации, создания первых набросков или вдохновения, а также повышения эффективности творческой деятельности.
• Энтузиасты сообщества с открытым исходным кодом: Интересуетесь проектами с открытым исходным кодом и хотите внести свой вклад или заняться вторичной разработкой.