Free-Search: API-инструмент для бесплатного доступа к результатам поиска Google в реальном времени

Общее введение

Free-Search - это API-инструмент с открытым исходным кодом, разработанный Ханзлой Джаваидом и размещенный на GitHub. Его основная функция - предоставление результатов поиска Google в реальном времени через пользовательскую поисковую систему и просмотр веб-контента для возврата структурированных данных. Этот инструмент предназначен для агентов искусственного интеллекта и приложений Large Language Modelling (LLM), чтобы помочь улучшить доступность интернет-данных. Пользователи могут использовать его бесплатно, просто загрузив код и развернув его локально. Проект разработан на языке Python и поддерживает пользовательские параметры поиска, что делает его подходящим для разработчиков и технических команд. В настоящее время он доступен с публичными демонстрационными примерами для простоты использования.

Список функций

• Поддерживает поиск Google в реальном времени и возвращает последние результаты после ввода ключевых слов.
• Автоматически просматривает страницы результатов поиска и извлекает основное содержимое каждой страницы.
• Возвращает структурированные данные, включая источники, ссылки и сниппеты контента.
• Настраиваемое количество результатов (1-5) и длина каждого фрагмента контента (100-5000 символов).
• Открытый исходный код, свободно модифицируемый и оптимизируемый пользователем.
• Предоставляются публичные демонстрационные примеры, которые можно опробовать без установки.

Использование помощи

Free-Search - это API-инструмент для разработчиков, и для его установки и использования требуется определенная техническая база. Здесь представлено подробное руководство, которое поможет вам начать работу.

Как установить

Free-Search требует загрузки исходного кода с GitHub и настройки среды выполнения. Вот шаги:

1. склад клонов
   Откройте браузер и посетите https://github.com/HanzlaJavaid/Free-SearchНажмите на зеленую кнопку Code выберите Download ZIP Скачайте zip-архив. Или введите его в командной строке:

git clone https://github.com/HanzlaJavaid/Free-Search.git

После завершения загрузки перейдите в папку с проектом.

2. Установка зависимостей
   Для работы проекта требуется Python 3.7 или более поздняя версия, а также несколько ключевых библиотек. Запустите его из командной строки:

pip install fastapi uvicorn pydantic playwright beautifulsoup4

Это позволит установить FastAPI (создание API), Uvicorn (запуск сервера), Pydantic (проверка данных), Playwright (веб-ползание) и BeautifulSoup4 (парсинг HTML).

3. Установите браузер Playwright Browser
   Проект опирается на браузер Playwright Chromium, который устанавливается с помощью следующей команды:

playwright install chromium

После установки инструмент сможет правильно просматривать веб-страницы.

4. Начальные услуги
   Запустите его в папке с проектом:

xvfb-run python main.py

Если в вашей Linux-системе нет графического интерфейса, можно воспользоваться программойxvfb-run не требуется; пользователи Windows или Mac могут просто запустить программу python main.pyПри запуске служба API будет работать локально. После запуска служба API будет работать локально на порту 11235 по умолчанию.

Как использовать основные функции

Ядром Free-Search является поисковый API, который запускается для получения результатов через HTTP-запросы. Вот как это работает:

• Доступ к конечным точкам API
  После запуска службы откройте браузер или инструмент командной строки и зайдите в раздел http://localhost:11235/search. Вам необходимо указать параметры поиска, например, ключевые слова.
• Отправить запрос на поиск
  пользоваться curl или другие инструменты для отправки запросов. Пример:

curl "http://localhost:11235/search?query=fastapi+tutorial&max_results=2&max_content=1000"

• query: Ключевые слова для поиска, обязательные, например, "fastapi tutorial".
• max_results: Количество возвращаемых результатов, необязательно, по умолчанию 3, диапазон 1-5.
• max_content: Длина содержимого каждого результата, необязательно, по умолчанию 2000 символов, диапазон 100-5000.
• Посмотреть результаты возврата
  API возвращает структурированные данные в формате JSON, например:

[
{
"source": "fastapi官方文档",
"link": "https://fastapi.tiangolo.com/tutorial/",
"context": "FastAPI 是一个现代、快速的 Web 框架..."
},
{
"source": "教程博客",
"link": "https://example.com/fastapi-guide",
"context": "本教程介绍如何使用 FastAPI 构建 API..."
}
]

Каждый результат включает название источника, ссылку и извлеченное содержимое.

Функциональное управление

• Поиск в Google в режиме реального времени
  Free-Search подключается к Google через пользовательскую поисковую систему, чтобы получить самые свежие результаты. Не нужно разрабатывать собственную поисковую систему, просто введите ключевые слова и используйте ее.
• Пополнение контента и структурированная выдача
  Инструмент автоматически посещает каждую страницу результатов поиска, извлекает основное содержимое и организует его в удобном для чтения формате. Это особенно полезно для приложений искусственного интеллекта, где данные можно напрямую передавать моделям для обработки.
• Пользовательские параметры
  Вы можете настроить max_results ответить пением max_content, который управляет количеством и уровнем детализации возвращаемых данных. Например, чтобы получить больше результатов, вы можете использовать:

curl "http://localhost:11235/search?query=python+学习&max_results=5"

• Использование публичных экземпляров
  Если вы не хотите устанавливать его локально, вы можете напрямую посетить официальные демонстрационные примеры:https://freesearch.replit.app/. Просто введите в браузер что-то вроде https://freesearch.replit.app/search?query=测试 адрес, вы можете попробовать.

предостережение

• При локальном запуске убедитесь, что интернет открыт, так как инструмент требует доступа к Google и другим веб-страницам.
• Если вы столкнулись с ошибками Playwright, проверьте, правильно ли установлен Chromium.
• Проект имеет открытый исходный код, и вы можете вносить в него изменения. main.py или другие файлы, добавить новые функции, например, поддержку других поисковых систем.

Выполнив эти действия, вы сможете легко развернуть и использовать Free-Search для получения данных поиска в режиме реального времени.

сценарий применения

1. Разработка агентов искусственного интеллекта
   Разработчики могут использовать Free-Search для получения веб-данных в режиме реального времени, чтобы обучить или расширить базу знаний агента ИИ.

Описание сценыНапример, если вы разрабатываете чат-бота, который должен отвечать на вопросы о последних технологических новостях, Free-Search может предоставить соответствующий веб-контент, чтобы бот мог давать точные ответы.

2. Вход данных LLM
   Большие языковые модели требуют большого количества внешних данных, и Free-Search можно использовать в качестве источника данных.

Описание сценыВы создаете модель для анализа статей, вводите ключевое слово "машинное обучение", и Free-Search выдает ссылки и рефераты последних статей для обработки моделью.

3. Индивидуальные инструменты исследования
   Студенты и исследователи могут использовать его для быстрого сбора информации из Интернета.

Описание сцены: При написании статьи наберите "влияние изменения климата", чтобы получить данные в реальном времени из нескольких источников и сэкономить время на поиск.

QA

1. В чем разница между Free-Search и Google Search?
   Free-Search - это API-инструмент, который автоматически просматривает результаты поиска Google и возвращает структурированные данные, в то время как поиск Google предоставляет только веб-интерфейс.
2. В чем разница между публичным экземпляром и локальным развертыванием?
   Публичные экземпляры можно использовать без установки, но они могут иметь ограничения по доступу; локальные развертывания полностью контролируются и могут быть настроены по функциональности.
3. Поддерживает ли он поиск на китайском языке?
   Да, просто введите ключевые слова на китайском языке, и API вернет соответствующие результаты, если Google найдет совпадение.