Maxun : une plateforme open source, sans code, qui explore automatiquement les données web et les convertit en API ou en feuilles de calcul.

Introduction générale

Maxun est une plateforme d'extraction de données web open source, sans code, qui permet aux utilisateurs de former des robots en quelques minutes pour explorer automatiquement les données web et les convertir en API ou en feuilles de calcul. La plateforme prend en charge la pagination et le défilement, peut s'adapter aux changements dans la mise en page du site web et fournit de puissantes fonctionnalités d'exploration de données pour une variété de besoins d'extraction de données.

Liste des fonctions

• Extraction de données sans code : il n'est pas nécessaire d'écrire du code pour explorer les données des pages web.
• Exploration automatisée des données : les robots automatisent les tâches d'exploration des données.
• Génération d'API : Convertir les données explorées en API
• Conversion en tableur : exportation des données capturées vers un tableur
• Prise en charge de la pagination et du défilement : gestion des données multipages et des données de pages longues
• Adaptation aux modifications de la mise en page du site web : adaptation automatique aux modifications de la mise en page
• Prise en charge de la connexion et de l'authentification à deux facteurs : collecte de données à partir de sites web nécessitant une connexion (bientôt disponible)
• Intégration de Google Sheets : importation de données directement dans Google Sheets
• Prise en charge des proxys : utilisation de proxys externes pour contourner la protection anti-bot.

Utiliser l'aide

Processus d'installation

Installation avec Docker Compose

1. Clonage de l'entrepôt de projets :

   git clone https://github.com/getmaxun/maxun

2. Accédez au catalogue de projets :

   cd maxun

3. Construisez et démarrez le service à l'aide de Docker Compose :

   docker-compose up -d --build

installation manuelle

1. Assurez-vous que Node.js, PostgreSQL, MinIO et Redis sont installés sur votre système.
2. Clonage de l'entrepôt de projets :

   git clone https://github.com/getmaxun/maxun

3. Allez dans le répertoire du projet et installez les dépendances :

   cd maxun
npm install
cd maxun-core
npm install

4. Démarrer les services front-end et back-end :

   npm run start

5. Le service frontal s'exécutera sur http://localhost:5173/ et le service dorsal sur http://localhost:8080/.

Lignes directrices pour l'utilisation

1. Création de robots: :
   • Après vous être connecté à la plateforme, cliquez sur le bouton "Créer un robot".
   • Sélectionnez le type de données à capturer (liste, texte ou capture d'écran).
   • Configurer les règles d'exploration, telles que l'URL cible, la fréquence d'exploration, etc.
   • Enregistrez et démarrez le robot, qui effectuera automatiquement la tâche de saisie des données.
2. Exportation de données: :
   • Une fois la mission du bot terminée, rendez-vous sur la page des détails de la mission.
   • Sélectionnez le format d'exportation (API ou feuille de calcul).
   • Cliquez sur le bouton "Exporter" pour télécharger les données ou obtenir le lien API.
3. Gestion de la pagination et du défilement: :
   • Configurer les options de pagination et de défilement lors de la création d'un bot.
   • Le robot traitera automatiquement les données multipages et les données de longues pages afin de garantir l'intégrité des données.
4. S'adapter aux changements de présentation du site web: :
   • La plateforme intègre des algorithmes intelligents qui s'adaptent automatiquement aux changements de mise en page.
   • Il n'est pas nécessaire d'ajuster manuellement les règles d'exploration, le robot s'adapte automatiquement aux changements.
5. Intégration avec Google Sheets: :
   • Dans les paramètres de la plateforme, configurez l'intégration de Google Sheets.
   • Les données saisies par le robot seront automatiquement importées dans le formulaire Google Sheets spécifié.
6. Utilisation de proxys: :
   • Dans Platform Settings, configurez l'agent externe.
   • Le robot effectuera la tâche de préhension par l'intermédiaire d'un proxy, contournant ainsi la protection anti-robot.