Free-Search : outil API pour un accès gratuit aux résultats de recherche Google en temps réel

Introduction générale

Free-Search est un outil API open source développé par Hanzla Javaid et hébergé sur GitHub. Sa fonction principale est de fournir des résultats de recherche Google en temps réel par le biais d'un moteur de recherche personnalisé et d'explorer le contenu web pour renvoyer des données structurées. Cet outil est conçu pour les agents d'intelligence artificielle et les applications de modélisation du langage (LLM) afin d'améliorer l'accessibilité des données Internet. Les utilisateurs peuvent l'utiliser gratuitement en téléchargeant simplement le code et en le déployant localement. Le projet est développé en Python et prend en charge des paramètres de recherche personnalisés, ce qui le rend adapté aux développeurs et aux équipes techniques. Il est actuellement disponible avec des exemples de démonstration publics pour faciliter l'expérience.

Liste des fonctions

• Prend en charge la recherche Google en temps réel et renvoie les derniers résultats après la saisie des mots-clés.
• Il parcourt automatiquement les pages de résultats de recherche et extrait le contenu principal de chaque page.
• Renvoie des données structurées, y compris les sources, les liens et les extraits de contenu.
• Nombre de résultats réglable (1-5) et longueur de chaque élément de contenu (100-5000 caractères).
• Code source ouvert, librement modifiable et optimisé par l'utilisateur.
• Des exemples de démonstrations publiques sont fournis et peuvent être essayés sans installation.

Utiliser l'aide

Free-Search est un outil API pour les développeurs et nécessite une certaine base technique pour l'installer et l'utiliser. Voici un guide détaillé pour vous aider à démarrer.

Comment installer

Free-Search nécessite que vous téléchargiez le code source depuis GitHub et que vous configuriez l'environnement d'exécution. Voici les étapes à suivre :

1. entrepôt de clones
   Ouvrez votre navigateur et visitez https://github.com/HanzlaJavaid/Free-SearchCliquez sur le bouton vert Code sélectionner Download ZIP Téléchargez l'archive zip. Ou entrez-la dans la ligne de commande :

git clone https://github.com/HanzlaJavaid/Free-Search.git

Une fois le téléchargement terminé, allez dans le dossier du projet.

2. Installation des dépendances
   Le projet nécessite Python 3.7 ou une version plus récente, ainsi que plusieurs bibliothèques clés. Exécutez-le à partir de la ligne de commande :

pip install fastapi uvicorn pydantic playwright beautifulsoup4

Ceci installera FastAPI (construction de l'API), Uvicorn (exécution du serveur), Pydantic (validation des données), Playwright (exploration du web) et BeautifulSoup4 (analyse du HTML).

3. Installer le navigateur Playwright
   Le projet s'appuie sur le navigateur Chromium de Playwright, qui est installé en exécutant la commande suivante :

playwright install chromium

Après l'installation, l'outil sera en mesure d'explorer correctement la page web.

4. Démarrage des services
   Exécutez-le dans le dossier du projet :

xvfb-run python main.py

Si vous n'avez pas d'interface graphique sur votre système Linux, la commandexvfb-run est nécessaire ; les utilisateurs de Windows ou de Mac peuvent simplement exécuter le programme python main.pyLe service API s'exécute localement après le démarrage. Une fois lancé, le service API s'exécute localement sur le port par défaut 11235.

Comment utiliser les principales fonctionnalités

Le cœur de Free-Search est l'API de recherche, qui permet d'obtenir des résultats via des requêtes HTTP. Voici comment cela fonctionne :

• Accès aux points d'extrémité de l'API
  Une fois le service démarré, ouvrez un navigateur ou un outil de ligne de commande et accédez à la page http://localhost:11235/search. Vous devez fournir des paramètres de recherche, tels que des mots-clés.
• Envoyer une demande de recherche
  utiliser curl ou d'autres outils pour envoyer des demandes. Exemple :

curl "http://localhost:11235/search?query=fastapi+tutorial&max_results=2&max_content=1000"

• query: Mots clés de recherche, obligatoires, par exemple "fastapi tutorial".
• max_results: Nombre de résultats à renvoyer, facultatif, par défaut 3, entre 1 et 5.
• max_content: Longueur du contenu de chaque résultat, facultatif, par défaut 2000 caractères, plage 100-5000.
• Voir les résultats du retour
  L'API renvoie des données structurées au format JSON, par exemple :

[
{
"source": "fastapi官方文档",
"link": "https://fastapi.tiangolo.com/tutorial/",
"context": "FastAPI 是一个现代、快速的 Web 框架..."
},
{
"source": "教程博客",
"link": "https://example.com/fastapi-guide",
"context": "本教程介绍如何使用 FastAPI 构建 API..."
}
]

Chaque résultat comprend le nom de la source, le lien et le contenu extrait.

Fonction en vedette Fonctionnement

• Recherche Google en temps réel
  Free-Search se connecte à Google par le biais d'un moteur de recherche personnalisé pour obtenir les derniers résultats. Il n'est pas nécessaire de développer votre propre moteur de recherche, il suffit d'entrer des mots-clés et de l'utiliser.
• Extraction de contenu et résultats structurés
  L'outil visite automatiquement chaque page de résultats de recherche, en extrait le contenu principal et l'organise dans un format facile à lire. Ce format est particulièrement utile pour les applications d'intelligence artificielle, où il peut être transmis directement à des modèles en vue de leur traitement.
• Paramètres personnalisés
  Vous pouvez ajuster la max_results répondre en chantant max_contentqui contrôle la quantité et le niveau de détail des données renvoyées. Par exemple, pour obtenir plus de résultats, vous pouvez utiliser :

curl "http://localhost:11235/search?query=python+学习&max_results=5"

• Utilisation d'instances publiques
  Si vous ne souhaitez pas l'installer localement, vous pouvez directement visiter les exemples de démonstration officiels fournis :https://freesearch.replit.app/. Il suffit de taper dans votre navigateur quelque chose comme https://freesearch.replit.app/search?query=测试 vous pouvez l'essayer.

mise en garde

• En cas d'exécution locale, assurez-vous que l'internet est ouvert, car l'outil nécessite un accès à Google et à d'autres pages web.
• Si vous rencontrez des erreurs Playwright, vérifiez que Chromium est correctement installé.
• Le projet est open source et vous pouvez le modifier main.py ou d'autres documents, ajouter de nouvelles fonctionnalités telles que la prise en charge d'autres moteurs de recherche.

Avec ces étapes, vous pouvez facilement déployer et utiliser Free-Search pour obtenir des données de recherche en temps réel.

scénario d'application

1. Développement d'agents d'intelligence artificielle
   Les développeurs peuvent utiliser Free-Search pour acquérir des données web en temps réel afin de former ou d'améliorer la base de connaissances de l'agent d'intelligence artificielle.

Description de la scènePar exemple, si vous développez un chatbot qui doit répondre à des questions sur les dernières actualités technologiques, Free-Search peut fournir le contenu web pertinent pour que le bot puisse donner des réponses précises.

2. Entrée des données LLM
   Les grands modèles de langage nécessitent beaucoup de données externes, et Free-Search peut être utilisé comme source de données.

Description de la scèneVous construisez un modèle pour analyser des articles, vous entrez le mot-clé "machine learning" et Free-Search vous renvoie des liens et des résumés des derniers articles à traiter par le modèle.

3. Outils de recherche individuels
   Les étudiants ou les chercheurs peuvent l'utiliser pour recueillir rapidement des informations sur le web.

Description de la scèneLes données sur l'impact du changement climatique : Lorsque vous rédigez un article, tapez "impacts du changement climatique" pour obtenir des données en temps réel provenant de sources multiples et gagner du temps lors de vos recherches.

QA

1. Quelle est la différence entre Free-Search et Google Search ?
   Free-Search est un outil API qui explore automatiquement les résultats de recherche de Google et renvoie des données structurées, alors que Google Search ne fournit qu'une interface web.
2. Quelle est la différence entre une instance publique et un déploiement local ?
   Les instances publiques peuvent être utilisées sans installation, mais peuvent avoir des limitations d'accès ; les déploiements locaux sont entièrement contrôlables et peuvent également être personnalisés en termes de fonctionnalités.
3. Prend-il en charge la recherche en chinois ?
   Oui, il suffit de taper des mots-clés chinois et l'API renverra des résultats pertinents, à condition que Google trouve une correspondance.