ZeroSearch - Ali Tongyi lanza el framework de código abierto para motores de búsqueda de grandes modelos

Qué es ZeroSearch

ZeroSearch es Alibaba Tongyi Labs de código abierto innovador gran modelo de motor de búsqueda marco. El marco no necesita interactuar con el motor de búsqueda real , basado en la simulación del motor de búsqueda , con un gran modelo de su propio conocimiento de pre-entrenamiento para generar documentos relevantes o ruidosos , lo que reduce significativamente el coste de formación (reducir 80% o más).ZeroSearch basado en mecanismos ligeros de supervisión de ajuste fino y el aprendizaje del curso para mejorar gradualmente la capacidad de razonamiento del modelo para apoyar una variedad de algoritmos de aprendizaje de refuerzo (como PPO, GRPO). ZeroSearch tiene un excelente rendimiento en múltiples conjuntos de datos de preguntas y respuestas y supera a la búsqueda de Google. ZeroSearch es aplicable a una gran variedad de escenarios, como las preguntas y respuestas inteligentes, la creación de contenidos y la investigación y el desarrollo, y es altamente escalable y versátil.

Características principales de ZeroSearch

• Capacidad de búsqueda analógicaZeroSearch: ZeroSearch puede simular la función de búsqueda de un motor de búsqueda y generar documentos con la reserva de conocimiento del propio gran modelo, sin depender de motores de búsqueda reales externos, lo que reduce el coste de uso y la dependencia externa.
• Generación flexible de documentosAdmite la generación de documentos de alta calidad relacionados con la consulta o la generación de documentos ruidosos, así como el control flexible de la calidad del documento basado en el ajuste de las palabras clave, con el fin de proporcionar escenarios de recuperación diversificados para el entrenamiento del modelo.
• Reducción eficaz de los costesZeroSearch: ZeroSearch reduce drásticamente los costes de formación en comparación con la formación con motores de búsqueda reales para el aprendizaje por refuerzo, lo que hace que la formación a gran escala sea más viable desde el punto de vista económico.
• alta compatibilidadEs compatible con muchos modelos grandes con diferentes escalas de parámetros (por ejemplo, 3B, 7B, 14B), soporta muchos algoritmos de aprendizaje por refuerzo (por ejemplo, PPO, GRPO) y es altamente escalable y versátil.

Dirección del sitio web oficial de ZeroSearch

• Página web del proyecto::https://alibaba-nlp.github.io/ZeroSearch/
• Repositorio GitHub::https://github.com/Alibaba-nlp/ZeroSearch
• Biblioteca de modelos HuggingFace::https://huggingface.co/collections/sunhaonlp/zerosearch
• Documento técnico arXiv::https://arxiv.org/pdf/2505.04588

Cómo utilizar ZeroSearch

• Preparación medioambiental::
  • Instalación de PythonAsegúrese de que Python está instalado en su sistema (se recomienda Python 3.8 o superior).
  • Instalación de bibliotecas dependientesInstale las bibliotecas Python necesarias para ZeroSearch. Esto normalmente se puede hacer con el siguiente comando:

pip install -r requirements.txt

• • Los archivos de dependencia específicos pueden encontrarse en el repositorio de GitHub.
• Obtener el código y el modelo::
  • Clonar un repositorio GitHubClona el código del repositorio oficial de ZeroSearch en GitHub:

git clone https://github.com/Alibaba-nlp/ZeroSearch.git
cd ZeroSearch

• • Descargar modelo preentrenadoDescargue los archivos necesarios del modelo preentrenado siguiendo las instrucciones de ZeroSearch.
• Entorno de configuración::
  • Configuración de las rutas del modeloEspecifique la ruta al modelo preentrenado en el código para garantizar que ZeroSearch carga el modelo correctamente.
  • Parámetros de ajusteAjuste los parámetros del archivo de configuración o del código de ZeroSearch según sea necesario, como el tamaño del modelo, los algoritmos de aprendizaje por refuerzo, las rutas de los datos de entrenamiento, etc.
• Ejecutar ZeroSearch::
  • formación inicialEjecute el script de formación ZeroSearch. Inícielo con el siguiente comando:

python train.py

• • Los nombres y parámetros específicos de los scripts pueden variar de una versión a otra; consulte la documentación oficial.
• Pruebas y validaciónUna vez finalizado el entrenamiento, verifique el rendimiento de ZeroSearch con un conjunto de datos de prueba para asegurarse de que se generan correctamente los documentos pertinentes y se responde a las preguntas.

Puntos fuertes de ZeroSearch

• No requiere interacción real con el motor de búsquedaZeroSearch: ZeroSearch se basa en la funcionalidad simulada de los motores de búsqueda y es completamente independiente de los motores de búsqueda externos, lo que reduce costes y dependencias.
• Importantes reducciones de costesEl coste de formación: en comparación con los métodos tradicionales, los costes de formación de ZeroSearch son sustancialmente inferiores, lo que hace que la formación a gran escala sea más rentable.
• Funciones flexibles de generación de documentosEl sistema admite la generación de documentos de alta calidad o ruidosos, que pueden ajustarse con flexibilidad en función de las necesidades del usuario para responder a escenarios de formación diversificados.
• Potente realización técnica: Mejora del rendimiento y la inferencia de modelos basada en un ajuste fino ligero supervisado, mecanismos de aprendizaje de cursos y mecanismos de recompensa basados en las puntuaciones F1.
• Amplia gama de aplicacionesEs compatible con una gran variedad de modelos y algoritmos de aprendizaje por refuerzo, y resulta adecuado para múltiples escenarios, como las preguntas y respuestas inteligentes, la creación de contenidos, la educación y la gestión del conocimiento empresarial.
• Código abierto y apoyo comunitarioComo framework de código abierto, ZeroSearch ofrece acceso libre al código y soporte de la comunidad para facilitar su personalización y optimización.

Escenarios de aplicación de ZeroSearch

• Investigadores en inteligencia artificial: Entrenamiento de modelos y optimización de algoritmos basados en un marco de búsqueda eficiente y de bajo coste.
• desarrollador de procesamiento de lenguaje natural: Cree rápidamente aplicaciones en ámbitos como las preguntas y respuestas inteligentes y la creación de contenidos.
• Equipo técnico de la empresa: Los técnicos optimizan la gestión del conocimiento empresarial y mejoran la eficacia de las búsquedas internas.
• Educadores y estudiantes: Se utiliza en la educación en línea y la tutoría inteligente para proporcionar respuestas instantáneas y apoyo al aprendizaje.
• creador de contenidosCreación de contenidos para acceder a la información, generar primeros borradores o inspiración y mejorar la eficacia creativa.
• Entusiastas de la comunidad de código abierto: Interesado en proyectos de código abierto y quiere contribuir o hacer desarrollo secundario.