MindSearch: motor de búsqueda de IA de código abierto para desplegar su propio motor de búsqueda Perplexity.

Introducción general

MindSearch es un marco de motor de búsqueda de IA de código abierto lanzado por el Laboratorio de Inteligencia Artificial de Shanghai (SAL), cuyo objetivo es simular el proceso de pensamiento humano para la recopilación e integración de información compleja. La herramienta combina las tecnologías avanzadas de modelado de lenguaje a gran escala (LLM) y motores de búsqueda, y a través de un marco de cuerpos multiinteligentes, logra la recopilación e integración autónomas de información de cientos de páginas web y da respuestas exhaustivas en poco tiempo. Los usuarios pueden desplegar sus propios motores de búsqueda utilizando LLM de código cerrado (por ejemplo, GPT, Claude) o de código abierto (por ejemplo, modelos de la serie InternLM2.5).

La lógica central es que se utiliza un marco corporal multiinteligente para simular los procesos del pensamiento humano, que incluye dos componentes clave: el WebPlanner (capa) y WebSearcher (ejecutor).

• WebPlanner desglosa la pregunta del usuario y construye un grafo acíclico dirigido (DAG) para guiar la búsqueda;
• WebSearcher recupera y filtra información valiosa de Internet para WebPlanner;
• Al final, WebPlanner da su conclusión.

Lista de funciones

• Marco del Cuerpo de Inteligencia Múltiple: Recopilación e integración de información compleja a través de inteligencias múltiples que trabajan de forma concertada.
• Admite varios LLM: Compatible con grandes modelos lingüísticos tanto de código cerrado como de código abierto, los usuarios pueden elegir el modelo adecuado en función de sus necesidades.
• Múltiples interfaces frontalesProporcionar React, Gradio, Streamlit y otras interfaces front-end para la comodidad del usuario.
• Exploración profunda del conocimiento: Proporciona respuestas extensas y en profundidad navegando por cientos de páginas web.
• Solución transparenteProporcione contenido completo, como rutas de pensamiento y términos de búsqueda, para aumentar la credibilidad y facilidad de uso de las respuestas.

Principios técnicos

1. WebPlanner: un centro de planificación inteligente

WebPlanner es el cerebro inteligente de MindSearch, que construye tareas de búsqueda en un grafo acíclico dirigido (DAG). Tras recibir el problema del usuario, con la capacidad de generación de código de modelo de lenguaje, utiliza funciones de código atómico predefinidas para desmontar el problema en nodos de subproblema y esbozar el marco de resolución del problema. Durante el proceso de búsqueda, basándose en los comentarios de WebSearcher, el gráfico se amplía y refina con flexibilidad, y la estrategia se ajusta dinámicamente para que el sistema extraiga información con precisión. Por ejemplo, ante la pregunta "estado actual y retos de la aplicación de la IA en el diagnóstico por imagen médica", desglosará los tipos de imágenes médicas, los ejemplos de aplicación de algoritmos de IA, la privacidad de los datos y la precisión de la interpretación y otras subpreguntas, allanando el camino para una respuesta exhaustiva.

2,WebSearcher: el puntero de la minería de información

WebSearcher es pionero en la minería de información. Adopta una estrategia que va de lo grueso a lo fino: primero optimiza las palabras clave para mejorar la precisión, agrega contenidos de búsqueda masiva para eliminar redundancias, criba con precisión las páginas clave y, a continuación, resume y refina en profundidad. Con la ayuda de modelos lingüísticos, comprendemos e integramos la información fragmentada y la transformamos en módulos de conocimiento lógicos y coherentes. Si tomamos como ejemplo "avances tecnológicos en baterías de vehículos de nueva energía", podemos filtrar rápidamente información clave como la mejora de la densidad energética de las baterías y la mayor velocidad de carga a partir de informes de institutos de investigación científica, noticias del sector, sitios web oficiales de empresas, etc., y presentarla de forma organizada.

Funciones

1、Extracción de conocimientos en profundidad

MindSearch profundiza en una amplia gama de páginas web para presentar a los usuarios conocimientos en profundidad. Tanto si se trata de explorar los misterios de civilizaciones antiguas como de seguir los últimos avances tecnológicos, es capaz de clasificar la enorme cantidad de recursos en línea. Por ejemplo, si se consulta "avances en la investigación de la materia oscura cósmica", no sólo proporciona conceptos básicos, sino que también resume los últimos datos observacionales, modelos teóricos e hitos de los equipos de investigación mundiales, ayudando a los usuarios a construir un sistema de conocimiento sistemático.

2、Transparencia de la ruta de búsqueda

A diferencia de los motores de búsqueda tradicionales, MindSearch muestra a los usuarios la ruta de pensamiento, las palabras clave de búsqueda y el proceso de integración de la información. Cuando los usuarios consultan "interpretación de disposiciones legales", además de la respuesta, pueden conocer el proceso de selección e integración de la información procedente de bases de datos jurídicas, foros profesionales y estudios de casos, lo que aumenta la confianza y facilita el estudio y la investigación en profundidad por parte de los usuarios para mejorar sus conocimientos pertinentes.

3、Adaptación multiinterfaz

MindSearch ofrece interfaces para React, Gradio, Streamlit y depuración local pensando en las diferentes necesidades de los usuarios. Los desarrolladores pueden utilizar Reaccione La interfaz de Gradio lo integra en aplicaciones web, mientras que los usuarios normales pueden consultarlo cómodamente a través de la interfaz de Gradio o Streamlit sin necesidad de programación compleja ni configuración del entorno, lo que reduce el umbral de uso y mejora la experiencia del usuario.

4. Mecanismo dinámico de construcción de mapas

La función de construcción dinámica de gráficos puede generar nodos de subpreguntas según las consultas de los usuarios y expandirse en tiempo real en función de los resultados de las búsquedas. Ante temas candentes como "el impacto de los medios sociales en la salud mental de los adolescentes", el gráfico de búsqueda puede actualizarse oportunamente para tener en cuenta nuevas investigaciones y acontecimientos, y ajustar la dirección con flexibilidad para garantizar que se ofrece la información más pertinente y actualizada.

escenario de aplicación

1、Buena ayuda para la investigación académica

En el ámbito académico, MindSearch acorta significativamente el tiempo de recopilación de información para los investigadores. Por ejemplo, si los estudiosos de la historia estudian los intercambios culturales en un periodo histórico específico, puede integrar documentos antiguos, informes arqueológicos, artículos académicos y otros recursos para ordenar la red de comunicación y los acontecimientos importantes, lo que ayuda a los estudiosos a localizar rápidamente la información clave, aclarar la dirección de la investigación y mejorar la eficiencia de la investigación.

2. Inspirador de inspiración creativa

Para los creadores, MindSearch es una fuente de inspiración. Cuando los redactores crean textos turísticos, pueden buscar materiales como comidas especiales, atracciones especializadas y costumbres populares del destino, y luego integrarlos y procesarlos en textos fascinantes. Cuando crean guiones de ciencia ficción, los guionistas de cine y televisión pueden obtener conceptos novedosos de ciencia ficción, escenarios futuros y otros materiales inspiradores para enriquecer su contenido creativo.

3. Brújula para la toma de decisiones empresariales

En el ámbito comercial, las empresas pueden utilizar MindSearch para seguir las tendencias del mercado, analizar la dinámica de la competencia y conocer las necesidades de los consumidores. Por ejemplo, cuando una empresa de catering desarrolla una nueva estrategia de producto, puede buscar información sobre ingredientes populares, platos calientes de la competencia y preferencias gustativas de los consumidores, y después lanzar un nuevo producto que satisfaga la demanda del mercado y mejore su competitividad en el mercado tras un estudio exhaustivo.

Utilizar la ayuda

1,Instalación dependiente

En primer lugar, asegúrese de que tiene un entorno Python instalado en su sistema (se recomienda Python 3.8 o superior). A continuación, vaya al directorio raíz de su proyecto MindSearch en la línea de comandos y ejecute el siguiente comando para instalar las dependencias necesarias:

pip install -r requirements.txt

Este paso descarga e instala automáticamente las distintas bibliotecas y módulos de Python necesarios para que MindSearch funcione, preparándolo para su posterior lanzamiento y uso.

2,Iniciar MindSearch API

Una vez finalizada la instalación de las dependencias, puede iniciar MindSearch API. Utilice el siguiente comando para iniciar el servidor FastAPI:

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch

Aquí puede ajustar los parámetros para adaptarlos a sus necesidades reales:

• `--lang`: se utiliza para especificar el idioma del modelo, por ejemplo, `en` significa inglés, `cn` significa chino. Elíjalo en función del idioma de entrada previsto y del idioma del resultado de la búsqueda.
• `--model_format`: especifica el formato del modelo, por ejemplo `internlm_server` significa utilizar el modelo de servidor local InternLM2.5 - 7b - chat; si desea utilizar otro modelo, por ejemplo GPT4, debe cambiarlo por `gpt4`, y también asegurarse de que ha configurado correctamente los permisos de acceso y uso para el modelo correspondiente. .
• `--search_engine`: se utiliza para seleccionar el motor de búsqueda, MindSearch soporta una variedad de motores de búsqueda, tales como

  `DuckDuckGoSearch` (motor de búsqueda DuckDuckGo), `BingSearch` (motor de búsqueda Bing), `BraveSearch` (motor de búsqueda Brave), `GoogleSearch` (motor de búsqueda Google Serper), `TencentSearch (buscador Tencent), etc. Si eliges un motor de búsqueda web distinto de DuckDuckGo y Tencent, deberás establecer la clave API correspondiente en la variable de entorno `WEB_SEARCH_API_KEY`; si utilizas el motor de búsqueda de Tencent, deberás establecer además `TENCENT_SEARCH_SECRET_ID` y `TENCENT _SEARCH_SECRET_KEY`.

3,Iniciar la interfaz de MindSearch

MindSearch proporciona una variedad de interfaces frontales para que los usuarios elijan, y a continuación se muestra cómo se inician las diferentes interfaces frontales:

3.1 Reaccionar

1. En primer lugar, es necesario configurar el proxy API de Vite, especificando la URL real del backend. suponiendo que el servidor backend se ejecuta localmente en el puerto `8002` de `127.0.0.1` (por favor, modifíquelo según la situación real), ejecute el siguiente comando:

HOST="127.0.0.1"PORT=8002sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

2. Asegúrate de que tienes Node.js y npm instalados en tu sistema. para sistemas Ubuntu, puedes usar el siguiente comando para instalarlo:

sudo apt install nodejs npm

Para Windows, debe descargar e instalar la versión adecuada de Node.js para su sistema desde el [sitio web oficial de Node.js](https://nodejs.org/zh-cn/download/prebuilt-installer).

3. Ve al directorio `frontend/React` y ejecuta los siguientes comandos para instalar las dependencias del proyecto e iniciar el frontend React:

cd frontend/Reactnpm installnpm start

3.2 Gradio

Inicie el front-end de Gradio ejecutando el siguiente comando en la línea de comandos:

python frontend/mindsearch_gradio.py

3.3 Streamlit

Utilice el siguiente comando para iniciar el front-end Streamlit:

streamlit run frontend/mindsearch_streamlit.py

3,depuración local

Si desea depurar localmente, puede utilizar el siguiente comando:

python mindsearch/terminal.py

A través de la depuración local, puede comprobar y optimizar más fácilmente el funcionamiento de MindSearch en su entorno local, y ver información de registro detallada para encontrar y resolver posibles problemas a tiempo.

observaciones finales

MindSearch, con su tecnología única, su rica funcionalidad y sus múltiples escenarios de aplicación, ha creado una ola de innovación en el campo de la recuperación de información. Mejora la eficiencia y la calidad del acceso a la información de los usuarios, construye una plataforma innovadora para desarrolladores y promueve el desarrollo de la tecnología de motores de búsqueda de IA. MindSearch tiene un gran potencial y valor en los ámbitos académico, creativo y comercial. Creemos que MindSearch seguirá evolucionando en el futuro, ayudándonos a explorar el universo del conocimiento de forma más eficiente y a disfrutar de una nueva experiencia de recuperación inteligente de la información.