Extraction et nettoyage de documents

Introduction OneFileLLM est un outil de ligne de commande open source conçu pour consolider plusieurs sources de données en un seul fichier texte afin de faciliter l'entrée dans les grands modèles de langage (LLM). Il permet de traiter les dépôts GitHub, les articles ArXiv, les transcriptions de vidéos YouTube, les...

Introduction générale Chatlog est un outil open source qui se concentre sur l'extraction et l'interrogation des journaux de chat à partir de la base de données locale de WeChat. Il prend en charge les versions 3.x et 4.0 de WeChat, pour les systèmes Windows et macOS. Les utilisateurs peuvent utiliser la ligne de commande, l'interface terminal ou H...

Introduction complète Versatile OCR Program est un outil de reconnaissance optique de caractères (OCR) open source conçu pour travailler avec des documents académiques et éducatifs complexes. Il peut extraire du texte, des tableaux, des formules mathématiques, des diagrammes et des schémas à partir de PDF, d'images et d'autres documents et générer...

Introduction générale DevDocs est un outil open source entièrement gratuit développé par l'équipe de CyberAGI et hébergé sur GitHub. Conçu pour les programmeurs et les développeurs de logiciels, il part de l'URL d'un document technique, parcourt automatiquement les pages pertinentes et les organise en un Ma...

Introduction complète Il analyse automatiquement la mise en page des documents PDF, identifie le texte, les titres, les images, les tableaux, les formules et autres éléments de la page, et détermine leur ordre correct. L'outil prend en charge la fonctionnalité OCR et peut convertir les PDF numérisés en texte consultable. Il fonctionne sur Docker et fournit deux modèles...

Introduction générale serverless-markdown-convertor est un outil gratuit et open source, basé sur Cloudflare Worker et Workers AI, qui convertit un large éventail de fichiers en Markdow...

Introduction générale GPT-Crawler est un outil open source développé par l'équipe BuilderIO et hébergé sur GitHub. Il explore le contenu des pages en entrant une ou plusieurs URL de sites web, générant des fichiers de connaissance structurés (output.jso...

Introduction générale pure.md est un outil pour les agents d'intelligence artificielle et les développeurs qui se concentre sur la conversion rapide du contenu Web ou des fichiers au format Markdown. Il contourne les restrictions anti-crawler par le biais de services proxy, extrait les données essentielles d'une page web et produit un ...

Introduction générale Cloudsquid est une entreprise fondée en 2023 à Berlin, en Allemagne, dont l'objectif est de simplifier le traitement des documents grâce à l'intelligence artificielle. Son produit phare est une plateforme d'extraction de données en ligne qui permet aux utilisateurs de télécharger simplement des documents tels que des PDF, des images, de l'audio, de la vidéo, etc. et d'indiquer simplement qu'ils ont besoin d'extraire...

Introduction générale PDF Craft est un outil open source conçu pour scanner des PDF de livres et les convertir au format Markdown. Il a été développé par oomol-lab et est hébergé sur GitHub pour les utilisateurs qui souhaitent organiser leurs livres électroniques. L'outil fonctionne à travers ce ...

Introduction complète Supametas.AI est une plateforme de traitement de données spécialisée dans l'organisation du fouillis de pages web, de documents, de fichiers audio et vidéo en données structurées utilisables par l'intelligence artificielle. Elle permet de collecter des données à partir de sources multiples, y compris des liens web, des API, des fichiers locaux, etc., et de les restituer sous forme de JSON ...

Introduction générale MarkPDFDown est un outil open source. Il utilise le Multimodal Big Language Model pour convertir les fichiers PDF au format Markdown. Le développeur est l'utilisateur GitHub jorben. Le but de cet outil est simple : rendre les documents PDF ...

Introduction complète SmolDocling est un modèle de langage visuel (VLM) développé par l'équipe ds4sd en collaboration avec IBM, construit sur SmolVLM-256M et hébergé sur la plateforme Hugging Face. Il est de petite taille, seulement ...

L'objectif de la reconnaissance de tableaux est d'analyser les tableaux dans les images, d'identifier avec précision les structures des tableaux et l'emplacement des cellules, et de les réduire à des formats de tableaux structurés (par exemple, HTML). À l'ère de l'information, un grand nombre de données tabulaires importantes existent encore à l'état non structuré (par exemple, des documents scannés avec des images de tableaux statistiques...).

Dans la longue histoire de la civilisation humaine, chaque progrès dans la manière d'acquérir et d'analyser l'information a profondément contribué au progrès social. Des hiéroglyphes antiques au papyrus portable, en passant par l'apparition de l'imprimerie et de la vague numérique actuelle, chaque innovation technologique a considérablement élargi le paradigme de la diffusion des connaissances humaines...

Introduction générale Firecrawl MCP Server est un outil open source développé par MendableAI, basé sur l'implémentation du protocole Model Context Protocol (MCP), avec Firecrawl A...

Introduction générale olmOCR est un outil open source développé par l'équipe AllenNLP de l'Allen Institute for Artificial Intelligence (AI2) qui se concentre sur la conversion de fichiers PDF...

Introduction générale par_scrape est un outil de crawler web open source basé sur Python, lancé sur GitHub par le développeur Paul Robello, conçu pour aider les utilisateurs à extraire intelligemment des données à partir de pages web. Il intègre Selenium...

Introduction complète PDF-Extract-Kit est un projet open source développé par l'équipe d'OpenDataLab, qui se concentre sur l'extraction efficace de contenu de haute qualité à partir de documents PDF complexes et diversifiés. Il intègre une technologie avancée d'analyse de documents pour prendre en charge la détection de la mise en page, la reconnaissance des formules ...

Introduction détaillée Crawl4LLM est un projet open source développé conjointement par l'université Tsinghua et l'université Carnegie Mellon, qui se concentre sur l'optimisation de l'efficacité de l'exploration du web pour le pré-entraînement des grands modèles (LLM). Il réduit considérablement l'inefficacité du crawling en sélectionnant intelligemment des données web de haute qualité, affirmant pouvoir...

Introduction générale Markdownify MCP Server est un outil open source basé sur le Model Context Protocol, hébergé sur GitHub par le développeur Zach Caceres ...

Introduction générale CodeWeaver est un outil en ligne de commande conçu pour tisser des bibliothèques de code dans des documents Markdown uniques et faciles à naviguer. Il génère une représentation structurée de la hiérarchie des fichiers d'un projet en analysant récursivement les répertoires et en intégrant le contenu de chaque fichier dans des blocs de code. Cet outil...

Introduction générale Kreuzberg est une bibliothèque permettant de simplifier l'extraction de texte à partir de fichiers PDF, conçue pour fournir une solution d'extraction de texte simple et sans souci. La bibliothèque est particulièrement adaptée à RAG (Retrieval-Augmented Generatio...

Introduction générale Instructor est une bibliothèque Python populaire conçue pour traiter les résultats structurés des grands modèles de langage (LLM). Construite sur Pydantic, elle fournit une API simple, transparente et conviviale pour gérer les données...

Introduction zChunk est une nouvelle stratégie de découpage développée par ZeroEntropy qui vise à fournir une solution pour le découpage sémantique générique. La stratégie est basée sur le modèle Llama-70B, qui optimise le processus de découpage des documents en demandant la génération de morceaux, garantissant ainsi que la recherche d'informations est maintenue à un niveau élevé....

Introduction complète Pulse est une plateforme intelligente axée sur le traitement de documents et l'extraction de données, conçue pour aider les entreprises et les développeurs à analyser et à traiter efficacement un large éventail de documents complexes. Grâce à sa technologie avancée de vision par ordinateur et de traitement multimodal, Pulse est capable d'extraire avec précision des données à partir de textes, d'images, de tableaux et...

Introduction générale Rowfill est une plateforme de traitement de documents open source conçue pour les travailleurs du savoir. Elle utilise des techniques avancées d'intelligence artificielle pour extraire, analyser et traiter des données à partir de documents complexes, d'images et de PDF.

Introduction générale PPTX2MD est un outil open source conçu pour convertir les fichiers PowerPoint PPTX au format Markdown. Développé par l'utilisateur GitHub ssine, l'outil permet de préserver les titres, les listes, le formatage du texte (par ex. gras, italique, couleurs et...

Introduction générale Repomix (anciennement connu sous le nom de Repopack) est un outil open source conçu pour empaqueter une base de code entière dans un fichier unique, adapté à l'IA. Cet outil permet aux développeurs de mettre facilement leur base de code à la disposition de grands modèles de langage (tels que Claude, Chat...

Introduction générale Yek est un outil rapide basé sur Rust pour lire des fichiers texte à partir de dépôts ou de répertoires, les découper et les sérialiser pour les utiliser dans de grands modèles de langage (LLM). L'outil utilise la règle .gitignore par défaut pour ignorer les fichiers inutiles, et utilise...

Introduction complète LlamaParse est un puissant outil d'analyse de documents qui peut traiter des documents complexes tels que des PDF, des PowerPoint, des documents Word et des feuilles de calcul et les convertir en données...

Introduction complète UnDatas.IO est une plateforme axée sur l'analyse et le traitement des données non structurées. Elle utilise une technologie avancée pour reconnaître automatiquement la mise en page des documents et classer les tableaux, les images, les formules et le texte, ce qui simplifie grandement le processus de traitement des données. La plateforme permet non seulement de gagner beaucoup de temps dans le tri des données...

Introduction générale Zerox est un projet open source conçu pour convertir des documents PDF, DOCX, des images et d'autres documents au format Markdown par le biais de modèles visuels. Le projet est développé par l'équipe getomni-ai et fournit une solution OCR (Optical Character Recognition) simple et efficace....

Introduction complète SemHash est un outil léger et flexible pour dédupliquer des ensembles de données par similarité sémantique. Il combine la génération rapide d'embedding de Model2Vec avec la recherche de similarité ANN (approximate nearest neighbour) de Vicinity....

Description générale Parseur est un logiciel d'extraction de données conçu pour aider les utilisateurs à extraire automatiquement des données textuelles à partir de PDF, d'emails et d'autres documents. Avec Parseur, les utilisateurs peuvent facilement convertir les données non structurées en données structurées et les envoyer à diverses applications...

Introduction complète Weco AI Functions est une plateforme puissante conçue pour aider les utilisateurs à créer et à déployer rapidement des fonctions d'IA. En décrivant simplement les tâches, les utilisateurs peuvent générer des modèles de sortie structurés avec des tests A/B et des contrôles d'observation. La plateforme prend en charge le prototypage sans code...

Introduction complète NV Ingest (NVIDIA Ingest) est une suite de microservices en accès anticipé conçus pour analyser des centaines de milliers de PDF non structurés complexes et désordonnés et d'autres documents d'entreprise. Il peut convertir ces documents en métadonnées et en texte pour les intégrer dans des...

Introduction générale Trellis est une plateforme de données axée sur la conversion de sources de données non structurées complexes en formats SQL structurés. Grâce à son puissant moteur d'IA, Trellis est capable de traiter un large éventail de sources de données telles que des documents financiers, des appels vocaux et des courriels, et de les convertir en données utilisables et...

Introduction Ollama OCR est une puissante boîte à outils de reconnaissance optique de caractères (OCR) qui utilise le modèle de langage visuel de pointe fourni par la plate-forme Ollama pour extraire du texte à partir d'images. Le projet est disponible sous la forme d'un paquetage Python et fournit des...

Introduction complète llmstxt-generator est un outil professionnel d'extraction et d'intégration de contenu web dédié à la préparation d'ensembles de données textuelles de haute qualité pour l'entraînement et l'inférence dans le cadre de la modélisation du langage étendu (LLM). L'outil a été développé par Mendable AI en utilisant @firec...

Introduction Doc2X est un puissant outil de reconnaissance et de conversion de formules d'images de documents, qui s'engage à fournir des solutions de traitement de documents efficaces et intelligentes. Qu'il s'agisse d'un travail de recherche universitaire, d'un manuel, d'un document d'entreprise ou d'un rapport financier, Doc2X peut identifier avec précision les...

Introduction ExtractThinker est un outil flexible d'intelligence documentaire qui extrait et classifie des données structurées à partir de documents en utilisant de grands modèles de langage (LLM), fournissant un flux de travail de traitement de documents transparent de type ORM. Il prend en charge une variété de chargeurs de documents, y compris Tess...

Introduction complète HtmlRAG est un projet open source innovant visant à améliorer le traitement des documents HTML dans les systèmes RAG (Retrieval Augmented Generation). Le projet présente une nouvelle approche qui soutient que l'utilisation du format HTML dans les systèmes RAG est plus efficace que le texte brut. Le projet contient un ...

Introduction complète ScrapeGraphAI est une bibliothèque innovante de scraping web en Python qui combine astucieusement le Large Language Modelling (LLM) et la Direct Graph Logic pour créer des pipelines de scraping pour les sites web et les documents locaux. Ce qui rend cet outil unique est son niveau parfait de simplicité et de puissance...

Introduction Vision Parse est un outil révolutionnaire de traitement de documents, il combine astucieusement la technologie la plus avancée des modèles de langage visuel (Vision Language Models), la capacité de convertir intelligemment des documents PDF en format Markdown de haute qualité...

Introduction générale Outlines est une bibliothèque open source développée par dottxt-ai pour améliorer l'application des grands modèles de langage (LLM) par la génération de textes structurés. La bibliothèque prend en charge une variété d'intégrations de modèles, y compris OpenAI, les transformateurs...

Introduction générale MarkItDown est un outil Python développé par Microsoft et conçu pour convertir divers fichiers et documents bureautiques au format Markdown. L'outil prend en charge un large éventail de types de fichiers, notamment PDF, PowerPoint, Word, Excel, diagrammes...

Introduction générale Chunkr est une API auto-hébergée dédiée à la conversion de fichiers PDF, PPTX, DOCX et Excel en données utilisables dans RAG (Retrieval Augmented Generation) et LLM (Large Language Modelling). Le projet a été développé par Lumina...

Introduction générale GitIngest est un outil open source conçu pour transformer les dépôts de code GitHub en texte adapté aux indices du Large Language Model (LLM). Avec une simple opération, les utilisateurs peuvent extraire et formater le contenu de n'importe quel dépôt GitHub pour qu'il corresponde au ...

Introduction générale E2M (Everything to Markdown) est une bibliothèque Python open source conçue pour convertir un large éventail de formats de fichiers au format Markdown. L'outil prend en charge les formats doc, docx, epub, html, htm, u...

Introduction Docling est un puissant outil d'analyse et d'exportation de documents qui prend en charge un large éventail de formats de documents, notamment PDF, DOCX, PPTX, XLSX, Image, HTML, AsciiDoc et Markdown.

Introduction générale MegaParse est un outil d'analyse de documents puissant et polyvalent, conçu pour optimiser le traitement des données pour le Large Language Model (LLM). Que vous travailliez avec du texte, des PDF, des présentations PowerPoint ou des documents Word, MegaParse...

Introduction complète ViTLP (Visually Guided Generative Text-Layout Pre-training for Document Intelligence) est un projet open source conçu pour...

Introduction générale Trieve est une infrastructure globale développée par Devflow, Inc. et conçue pour la recherche, les recommandations, la RAG (Retrieval Augmented Generation) et l'analyse. La plateforme est servie par une API et prend en charge l'auto-hébergement pour AWS, GCP, K...

Introduction pdf2htmlEX est un outil open source conçu pour convertir les fichiers PDF au format HTML , en analysant le contenu du fichier PDF et en utilisant HTML + CSS pour restaurer avec précision son effet visuel , le document PDF sera converti en un navigateur ....

Introduction complète Maxun est une plateforme open source d'extraction de données web sans code qui permet aux utilisateurs de former des robots en quelques minutes pour explorer automatiquement les données web et les convertir en API ou en feuilles de calcul. La plateforme prend en charge la pagination et le défilement, s'adapte aux changements de mise en page des sites web, fournit de puissantes...

Introduction générale OmniParse est une puissante plateforme d'analyse et d'optimisation de données conçue pour transformer toutes les données non structurées en données structurées, exploitables et optimisées pour le cadre GenAI (Generative Artificial Intelligence). Que vous travailliez avec des documents, des tableaux, des images, des vidéos, des fichiers audio ou...

Description générale Parsio est un outil d'extraction de données de documents et d'e-mails basé sur l'IA qui extrait automatiquement des données structurées à partir de PDF, d'e-mails et d'autres documents. La plateforme fournit un puissant analyseur de PDF et une fonctionnalité OCR et prend en charge un large éventail de types de documents, y compris...

Introduction complète Chonkie est une bibliothèque de découpage de texte RAG (Retrieval-Augmented Generation) légère et efficace, conçue pour aider les développeurs à découper rapidement et facilement du texte. La bibliothèque prend en charge une variété de méthodes de découpage, y compris ...

Introduction TextIn est un outil professionnel de conversion de PDF en Markdown conçu pour aider les utilisateurs à convertir efficacement des documents PDF au format Markdown. L'outil prend en charge une grande variété de formats de fichiers, il est facile à utiliser, la vitesse de conversion est rapide, le format et le contenu du PDF d'origine sont conservés...

Introduction complète L'API d'extraction de texte (text-extract-api) est un outil puissant conçu pour extraire et analyser le contenu d'une variété de formats de documents (par exemple PDF, Word, PPTX, etc.). L'API utilise la technologie de pointe de la reconnaissance optique de caractères (OCR) et Ol...

Introduction complète Datalab propose une gamme de modèles d'IA avancés axés sur l'OCR, l'analyse de la mise en page, la conversion de PDF en Markdown et bien plus encore. Ces modèles sont non seulement très performants, mais aussi faciles à utiliser et open source. Les modèles Marker de la plateforme peuvent rapidement et précisément...

Introduction complète MinerU est un outil d'extraction de données open source développé par l'équipe OpenDataLab du Shanghai Artificial Intelligence Laboratory, qui se concentre sur l'extraction efficace du contenu de documents PDF complexes, de pages web et de livres électroniques. Il est capable de prendre des PDF multimodaux contenant des images, des formules, des tableaux et d'autres éléments...

Introduction générale Marker est un outil de traitement de documents basé sur l'apprentissage profond, conçu pour convertir rapidement et précisément des fichiers PDF au format Markdown. Il prend en charge un large éventail de types de documents et est particulièrement optimisé pour la conversion de livres et d'articles scientifiques. Il prend en charge un large éventail de types de documents et est particulièrement optimisé pour la conversion de livres et d'articles scientifiques....

Description générale Mathpix est un puissant outil d'automatisation de documents piloté par l'IA et conçu pour les chercheurs, les développeurs et les entreprises. Il convertit rapidement et avec précision les PDF et les images en texte consultable, exportable et lisible par machine.

Introduction complète Unstructured-IO fournit un ensemble de composants open source pour le traitement et le prétraitement d'images et de documents textuels tels que PDF, HTML, documents Word, etc. Son objectif principal est de simplifier et d'optimiser les flux de traitement des données, en particulier pour les grands modèles de langage (LL...

Introduction générale Le projet Reader de Jina AI est un outil open source (Reader open source address) qui prend n'importe quelle URL en ajoutant le préfixe https://r.jina.ai/转换成适合大型语言模型 (Large Languag...