MindSearch: поисковая система AI с открытым исходным кодом для развертывания собственной поисковой системы Perplexity!

Общее введение

MindSearch - это поисковая система с открытым исходным кодом, созданная Шанхайской лабораторией искусственного интеллекта (ШЛАИ), которая призвана имитировать мыслительный процесс человека для сбора и интеграции сложной информации. Инструмент сочетает в себе передовые технологии крупномасштабного языкового моделирования (LLM) и поисковых систем, а благодаря мультиинтеллектуальной структуре он обеспечивает автономный сбор и интеграцию информации с сотен веб-страниц и выдает исчерпывающие ответы за короткий промежуток времени. Пользователи могут развернуть свои собственные поисковые системы, используя закрытые LLM (например, GPT, Claude) или открытые LLM (например, модели серии InternLM2.5).

Основная логика заключается в том, что для имитации мыслительных процессов человека используется многоинтеллектуальный каркас тела, включающий два ключевых компонента: WebPlanner (слой) и WebSearcher (исполнитель).

• WebPlanner разбивает вопрос пользователя на части и строит направленный ациклический граф (DAG), чтобы направить поиск;
• WebSearcher извлекает и фильтрует ценную информацию из Интернета для WebPlanner;
• В конце концов WebPlanner дает свое заключение.

Список функций

• Рамочная структура многоинтеллектуального организма: Сбор и интеграция сложной информации с помощью нескольких интеллектов, работающих согласованно.
• Поддержка нескольких LLM: Совместимость с закрытыми и открытыми моделями больших языков, пользователи могут выбрать подходящую модель в соответствии со своими потребностями.
• Несколько внешних интерфейсов: Предоставление React, Gradio, Streamlit и других фронтенд-интерфейсов для удобства пользователей.
• Исследование глубоких знаний: Предоставляет обширные и глубокие ответы, ориентируясь на сотни веб-страниц.
• Прозрачный путь решения: Предоставьте полный контент, такой как мыслительные пути и поисковые запросы, чтобы повысить достоверность и удобство ответов.

Технические принципы

1. WebPlanner: интеллектуальный центр планирования

WebPlanner - это интеллектуальный мозг MindSearch, который строит поисковые задачи в виде направленного ациклического графа (DAG). Получив проблему пользователя, с возможностью генерации кода языковой модели, он использует предопределенные функции атомарного кода для разделения проблемы на узлы подпроблемы и очерчивает рамки решения проблемы. В процессе поиска, основываясь на обратной связи с WebSearcher, граф гибко расширяется и уточняется, а стратегия динамически корректируется, чтобы привести систему к точному сбору информации. Например, при ответе на вопрос "текущее состояние и проблемы применения ИИ в диагностике медицинских изображений" система разберет типы медицинских изображений, примеры применения алгоритмов ИИ, конфиденциальность данных, точность интерпретации и другие подвопросы, прокладывая путь к исчерпывающему ответу.

2,WebSearcher: указатель для поиска информации

WebSearcher является пионером в области поиска информации. Он использует стратегию "от грубого к тонкому", сначала оптимизируя ключевые слова для повышения точности, агрегируя массивный поисковый контент для устранения избыточности, точно отбирая ключевые страницы, а затем обобщая и углубляя. С помощью языковых моделей мы понимаем и интегрируем разрозненную информацию, преобразуя ее в логичные и последовательные модули знаний. Возьмем, к примеру, "прорывы в технологии аккумуляторных батарей для новых энергетических транспортных средств". Он может быстро отфильтровать ключевую информацию, такую как повышение плотности энергии батареи и скорости зарядки, из отчетов научно-исследовательских институтов, новостей промышленности, официальных сайтов предприятий и т. д., и представить ее в упорядоченном виде.

Функциональные особенности

1、 Извлечение глубоких знаний

MindSearch копается во множестве веб-страниц, чтобы предоставить пользователям глубокие знания. Будь то изучение тайн древних цивилизаций или отслеживание передовых технологических разработок, он способен отсортировать огромное количество онлайн-ресурсов. Например, если вы зададите запрос "прогресс в исследованиях космической темной материи", он не только даст вам основные понятия, но и обобщит последние данные наблюдений, теоретические модели и основные этапы работы мировых исследовательских групп, помогая пользователям создать систематизированную систему знаний.

2、 Прозрачность пути поиска

В отличие от традиционных поисковых систем, MindSearch показывает пользователям ход мыслей, ключевые слова для поиска и процесс интеграции информации. Когда пользователи запрашивают "толкование правовых положений", помимо ответа они также могут узнать процесс отбора и интеграции информации из правовых баз данных, профессиональных форумов и тематических исследований, что повышает доверие и способствует углубленному изучению и исследованию пользователями своих знаний.

3、 Адаптация к нескольким интерфейсам

MindSearch предлагает интерфейсы для React, Gradio, Streamlit и локальной отладки с учетом различных потребностей пользователей. Разработчики могут использовать React Интерфейс Gradio позволяет интегрировать его в веб-приложения, а обычные пользователи могут удобно запрашивать его через интерфейс Gradio или Streamlit без сложного программирования и настройки среды, что снижает порог использования и повышает удобство работы.

4. механизм динамического построения карт

Функция динамического построения графа может генерировать узлы подвопросов в соответствии с запросами пользователей и расширяться в режиме реального времени на основе результатов поиска. При возникновении таких актуальных тем, как "влияние социальных сетей на психическое здоровье подростков", поисковый граф может своевременно обновляться с учетом новых исследований и событий, а также гибко корректировать направление поиска, чтобы обеспечить предоставление наиболее релевантной и актуальной информации.

сценарий применения

1、 Хороший помощник для академических исследований

В научной сфере MindSearch значительно сокращает время сбора информации для исследователей. Например, если ученые-историки изучают культурные обмены в определенный исторический период, он может интегрировать древние документы, археологические отчеты, научные работы и другие ресурсы для сортировки линии связи и важных событий, помогая ученым быстро находить ключевую информацию, уточнять направление исследования и повышать его эффективность.

2. Творческий вдохновитель

Для авторов MindSearch - это источник вдохновения. Когда копирайтеры создают туристические тексты, они могут искать такие материалы, как особые блюда, нишевые достопримечательности и народные обычаи места назначения, а затем интегрировать и обрабатывать их в увлекательные тексты. При создании научно-фантастических сценариев сценаристы кино и телевидения могут получить новые научно-фантастические концепции, сценарии будущего и другие вдохновляющие материалы, чтобы обогатить свой творческий контент.

3. компас для принятия решений в бизнесе

В коммерческой сфере предприятия могут использовать MindSearch для отслеживания тенденций рынка, анализа динамики развития конкурентов и изучения потребностей потребителей. Например, когда компания общественного питания разрабатывает стратегию создания нового продукта, она может найти информацию о популярных ингредиентах, горячих блюдах конкурентов и вкусовых предпочтениях потребителей, а затем после всестороннего исследования выпустить новый продукт, отвечающий рыночному спросу и повышающий ее конкурентоспособность на рынке.

Использование помощи

1,Зависимая установка

Во-первых, убедитесь, что в вашей системе установлена среда Python (рекомендуется Python 3.8 и выше). Затем перейдите в корневой каталог вашего проекта MindSearch в командной строке и выполните следующую команду для установки необходимых зависимостей:

pip install -r requirements.txt

Этот шаг автоматически загружает и устанавливает различные библиотеки и модули Python, необходимые для работы MindSearch, подготавливая его к последующему запуску и использованию.

2,Запуск MindSearch API

После завершения установки зависимостей вы можете запустить MindSearch API. Используйте следующую команду для запуска сервера FastAPI:

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch

Здесь вы можете настроить параметры в соответствии с вашими потребностями:

• `--lang`: используется для указания языка модели, например, `en` означает английский, `cn` - китайский. Пожалуйста, выбирайте в соответствии с предполагаемым языком ввода и языком результатов поиска.
• `--model_format`: укажите формат модели, например, `internlm_server` означает использование модели локального сервера InternLM2.5 - 7b - chat; если вы хотите использовать другую модель, например, GPT4, вам нужно изменить его на `gpt4`, а также убедиться, что вы правильно настроили права доступа и использования для соответствующей модели. .
• `--search_engine`: используется для выбора поисковой системы, MindSearch поддерживает различные поисковые системы, такие как

  `DuckDuckGoSearch` (поисковая система DuckDuckGo), `BingSearch` (поисковая система Bing), `BraveSearch` (поисковая система Brave), `GoogleSearch` (поисковая система Google Serper), `TencentSearch ` (поисковая система Tencent) и т. д. Если вы выбрали поисковую систему, отличную от DuckDuckGo и Tencent, вам необходимо установить соответствующий API-ключ в переменную окружения `WEB_SEARCH_API_KEY`; если вы используете поисковую систему Tencent, вам необходимо дополнительно установить `TENCENT_SEARCH_SECRET_ID` и `TENCENT _SEARCH_SECRET_KEY`.

3,Запустите фронт-энд MindSearch

MindSearch предоставляет пользователям на выбор множество внешних интерфейсов, и ниже описано, как запускаются различные внешние интерфейсы:

3.1 React

Во-первых, необходимо настроить API-прокси Vite, указав реальный URL бэкенда. Предполагая, что бэкенд-сервер запущен локально на порту `8002` из `127.0.0.1` (пожалуйста, измените его в соответствии с реальной ситуацией), выполните следующую команду:

HOST="127.0.0.1"PORT=8002sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

2. убедитесь, что в вашей системе установлены Node.js и npm. для систем Ubuntu для установки можно использовать следующую команду:

sudo apt install nodejs npm

Для Windows вам нужно загрузить и установить соответствующую версию Node.js для вашей системы с [официального сайта Node.js](https://nodejs.org/zh-cn/download/prebuilt-installer).

3. Перейдите в каталог `frontend/React` и выполните следующие команды для установки зависимостей проекта и запуска фронтенда React:

cd frontend/Reactnpm installnpm start

3.2 Градио

Запустите внешний модуль Gradio, выполнив следующую команду в командной строке:

python frontend/mindsearch_gradio.py

3.3 Стримлит

Используйте следующую команду, чтобы запустить фронт-энд Streamlit:

streamlit run frontend/mindsearch_streamlit.py

3,локальная отладка

Если вы хотите отлаживать локально, можно воспользоваться следующей командой:

python mindsearch/terminal.py

Благодаря локальной отладке вы сможете легче проверять и оптимизировать работу MindSearch в локальной среде, а также просматривать подробную журнальную информацию, чтобы своевременно находить и решать возможные проблемы.

заключительные замечания

MindSearch, благодаря своей уникальной технологии, богатому функционалу и множеству сценариев применения, создал волну инноваций в области поиска информации. Он повышает эффективность и качество доступа пользователей к информации, создает инновационную платформу для разработчиков и способствует развитию технологии поисковых систем искусственного интеллекта. MindSearch обладает огромным потенциалом и ценностью в академической, творческой и коммерческой сферах. Мы верим, что MindSearch будет развиваться и в будущем, помогая нам более эффективно исследовать вселенную знаний и наслаждаться новым опытом интеллектуального поиска информации.