Extracción y limpieza de documentos

Introducción general El proyecto Reader de Jina AI es una herramienta de código abierto (Reader open source address) que toma cualquier URL añadiéndole el prefijo https://r.jina.ai/转换成适合大型语言模型 (Large Languag...

Introducción exhaustiva MinerU es una herramienta de extracción de datos de código abierto desarrollada por el equipo OpenDataLab del Laboratorio de Inteligencia Artificial de Shanghai, centrada en la extracción eficiente de contenido de documentos PDF, páginas web y libros electrónicos complejos. Es capaz de tomar PDF multimodales que contengan imágenes, fórmulas, tablas y otros elementos...

Introducción General Chatlog es una herramienta de código abierto que se centra en la extracción y consulta de registros de chat de la base de datos local de WeChat. Es compatible con las versiones 3.x y 4.0 de WeChat, tanto para sistemas Windows como macOS. Los usuarios pueden utilizar la línea de comandos, la interfaz de terminal o H...

Introducción general Marker es una herramienta de procesamiento de documentos basada en aprendizaje profundo diseñada para convertir archivos PDF a formato Markdown de forma rápida y precisa. Es compatible con una amplia gama de tipos de documentos y está especialmente optimizado para la conversión de libros y artículos científicos.Marker es capaz de eliminar los encabezados...

Introducción Docling es una potente herramienta de análisis y exportación de documentos compatible con una amplia gama de formatos, como PDF, DOCX, PPTX, XLSX, Image, HTML, AsciiDoc y Markdown, que puede analizar y exportar...

Introducción general Ollama OCR es un potente kit de herramientas de reconocimiento óptico de caracteres (OCR) que utiliza el modelo de lenguaje visual de última generación proporcionado por la plataforma Ollama para extraer texto de imágenes. El proyecto está disponible como paquete Python y proporciona una interfaz Strea...

Introducción completa PDF-Extract-Kit es un proyecto de código abierto desarrollado por el equipo OpenDataLab , centrándose en la extracción eficiente de contenido de alta calidad a partir de documentos PDF complejos y diversos . Integra tecnología avanzada de análisis sintáctico de documentos para la detección de diseños, el reconocimiento de fórmulas ...

Descripción general Mathpix es una potente herramienta de automatización de documentos basada en IA diseñada para investigadores, desarrolladores y empresas. Convierte de forma rápida y precisa archivos PDF e imágenes en texto que se puede buscar, exportar y leer a máquina.Mathpix ofrece una amplia gama de funciones...

Introducción general Repomix (antes conocido como Repopack) es una herramienta de código abierto diseñada para empaquetar todo un código base en un único archivo compatible con IA. Esta herramienta permite a los desarrolladores poner fácilmente su código base a disposición de grandes modelos lingüísticos (como Claude, Chat...

Introducción completa Doc2X es una potente herramienta de reconocimiento y conversión de fórmulas de imágenes de documentos, se compromete a proporcionar soluciones de procesamiento de documentos eficientes e inteligentes. Ya se trate de un trabajo de investigación académica, un libro de texto, un documento corporativo o un informe financiero, Doc2X puede identificar con precisión las tablas PDF y...

Introducción general Outlines es una biblioteca de código abierto desarrollada por dottxt-ai para mejorar la aplicación de Large Language Models (LLMs) a través de la generación de texto estructurado. La biblioteca admite diversas integraciones de modelos, como OpenAI, transformadores...

Introducción general GitIngest es una herramienta de código abierto diseñada para transformar los repositorios de código de GitHub en texto adecuado para las sugerencias de Large Language Model (LLM). Con una sencilla operación, los usuarios pueden extraer y formatear el contenido de cualquier repositorio de GitHub para adaptarlo al LLM...

Introducción general PDF Craft es una herramienta de código abierto diseñada para escanear PDF de libros y convertirlos al formato Markdown. Fue desarrollado por oomol-lab y está alojado en GitHub para los usuarios que les gusta organizar sus libros electrónicos. La herramienta funciona a través de este ...

Introducción general Zerox es un proyecto de código abierto diseñado para convertir PDF, DOCX, imágenes y otros documentos a formato Markdown a través de modelos visuales. El proyecto ha sido desarrollado por el equipo getomni-ai y proporciona una solución OCR (Reconocimiento Óptico de Caracteres) sencilla y eficiente.

Introducción general PPTX2MD es una herramienta de código abierto diseñada para convertir archivos PPTX de PowerPoint al formato Markdown. Desarrollada por el usuario de GitHub ssine, la herramienta permite conservar los encabezados, las listas, el formato del texto (por ejemplo, negrita, cursiva, colores y super...

Introducción exhaustiva Chonkie es una biblioteca de fragmentación de texto RAG (Retrieval-Augmented Generation) ligera y eficiente diseñada para ayudar a los desarrolladores a fragmentar texto de forma rápida y sencilla. La librería soporta una gran variedad de métodos de fragmentación, incluyendo ...

Introducción completa Unstructured-IO proporciona un conjunto de componentes de código abierto para el procesamiento y preprocesamiento de imágenes y documentos de texto como PDF, HTML, documentos de Word, etc. Su principal objetivo es simplificar y optimizar los flujos de trabajo de procesamiento de datos, especialmente para grandes modelos de lenguaje (LL...

Introducción general Firecrawl MCP Server es una herramienta de código abierto desarrollada por MendableAI, basada en la implementación del protocolo Model Context Protocol (MCP), con Firecrawl A...

Introducción completa SemHash es una herramienta ligera y flexible para desduplicar conjuntos de datos por similitud semántica. Combina la rápida generación de incrustaciones de Model2Vec con la eficaz búsqueda de similitud RNA (vecino más cercano aproximado) de Vicinity.SemHa...

Introducción general olmOCR es una herramienta de código abierto desarrollada por el equipo AllenNLP del Allen Institute for Artificial Intelligence (AI2) que se centra en convertir archivos PDF...

Introducción completa LlamaParse es una potente herramienta de análisis sintáctico de documentos que puede procesar documentos complejos como PDF, PowerPoint, documentos de Word y hojas de cálculo y convertirlos en datos estructurados.LlamaParse ofrece...

El objetivo del reconocimiento de tablas es analizar tablas en imágenes, identificar con precisión las estructuras de las tablas y la ubicación de las celdas, y reducirlas a formatos de tabla estructurados (por ejemplo, HTML). En la actual era de la información, una gran cantidad de datos tabulares importantes sigue existiendo en estado no estructurado (por ejemplo, documentos escaneados con imágenes de tablas estadísticas...).

Introducción completa NV Ingest (NVIDIA Ingest) es un conjunto de microservicios de acceso temprano diseñados para analizar cientos de miles de PDF complejos y desordenados sin estructurar y otros documentos empresariales. Puede convertir estos documentos en metadatos y texto para incrustarlos en...

Introducción completa Datalab ofrece una gama de modelos avanzados de IA centrados en OCR, análisis de diseño, conversión de PDF a Markdown y mucho más. Estos modelos no sólo son de alto rendimiento, sino también fáciles de usar y de código abierto. Los modelos Marker de la plataforma pueden...

Introducción general Markdownify MCP Server es una herramienta de código abierto basada en el Model Context Protocol, alojada en GitHub por el desarrollador Zach Caceres ...

Introducción general MegaParse es una potente y versátil herramienta de análisis sintáctico de documentos diseñada para optimizar el procesamiento de datos para el Large Language Model (LLM). Tanto si trabaja con texto, PDF, presentaciones de PowerPoint o documentos de Word, MegaParse...

Introducción general MarkItDown es una herramienta Python desarrollada por Microsoft diseñada para convertir diversos archivos y documentos ofimáticos al formato Markdown. La herramienta admite una amplia gama de tipos de archivo, como PDF, PowerPoint, Word, Excel, diagramas...

Introducción completa Maxun es una plataforma de extracción de datos web sin código de código abierto que permite a los usuarios entrenar robots en cuestión de minutos para rastrear automáticamente datos web y convertirlos en API u hojas de cálculo. La plataforma admite paginación y desplazamiento, se adapta a los cambios en el diseño del sitio web, proporciona un potente rastreo de datos...

Introducción general Trieve es una infraestructura integral desarrollada por Devflow, Inc. diseñada para búsqueda, recomendaciones, RAG (Retrieval Augmented Generation) y análisis. La plataforma se sirve a través de una API y admite el autoalojamiento para AWS, GCP, K...

Introducción exhaustiva ExtractThinker es una herramienta flexible de inteligencia de documentos que extrae y clasifica datos estructurados de documentos utilizando modelos de grandes lenguajes (LLM), proporcionando un flujo de trabajo de procesamiento de documentos sin fisuras similar a ORM. Es compatible con diversos cargadores de documentos, como Tess...

Introducción general E2M (Everything to Markdown) es una biblioteca Python de código abierto diseñada para convertir una amplia gama de formatos de archivo al formato Markdown. La herramienta soporta formatos como doc, docx, epub, html, htm, u...

Introducción general pure.md es una herramienta para agentes de AI y desarrolladores que se centra en convertir rápidamente contenido web o archivos a formato Markdown. Se salta las restricciones anti-crawler a través de servicios proxy, extrae los datos centrales de una página web, y produce un ...

Introducción general MarkPDFDown es una herramienta de código abierto. Utiliza el Multimodal Big Language Model para convertir archivos PDF al formato Markdown. El desarrollador es el usuario de GitHub jorben. el objetivo de esta herramienta es simple: hacer que los documentos PDF ...

En la larga historia de la civilización humana, cada salto en la forma de adquirir y analizar la información ha contribuido profundamente al progreso social. Desde los antiguos jeroglíficos hasta el papiro portátil, pasando por la posterior aparición de la imprenta y la actual ola digital, cada innovación tecnológica ha ampliado enormemente el paradigma de la difusión del conocimiento humano...

Introducción general Kreuzberg es una biblioteca para simplificar la extracción de texto de archivos PDF, diseñada para proporcionar una solución de extracción de texto sencilla y sin complicaciones. La biblioteca es especialmente adecuada para RAG (Retrieval-Augmented Generatio...

Introducción completa pdf2htmlEX es una herramienta de código abierto diseñada para convertir archivos PDF a formato HTML , mediante el análisis del contenido del archivo PDF y el uso de HTML + CSS para restaurar con precisión su efecto visual , el documento PDF se ...

Descripción general Parseur es un software líder de extracción de datos de IA diseñado para ayudar a los usuarios a extraer automáticamente datos de texto de PDF, correos electrónicos y otros documentos. Con Parseur, los usuarios pueden convertir fácilmente datos no estructurados en datos estructurados y enviarlos a varias aplicaciones....

Introducción general CodeWeaver es una herramienta de línea de comandos diseñada para entretejer bibliotecas de código en documentos Markdown únicos y fáciles de navegar. Genera una representación estructurada de la jerarquía de archivos de un proyecto escaneando recursivamente los directorios e incrustando el contenido de cada archivo en bloques de código. Esta herramienta...

Introducción Completa Analiza automáticamente el diseño de documentos PDF, identifica texto, títulos, imágenes, tablas, fórmulas y otros elementos de la página, y determina su orden correcto. La herramienta es compatible con la funcionalidad OCR y puede convertir PDF escaneados en texto con capacidad de búsqueda. Se ejecuta en Docker y proporciona dos modelos...

Introducción general GPT-Crawler es una herramienta de código abierto desarrollada por el equipo BuilderIO y alojada en GitHub. Rastrea el contenido de las páginas introduciendo una o varias URL de sitios web, generando archivos de conocimiento estructurado (output.jso...

Introducción general Yek es una herramienta rápida basada en Rust para leer archivos de texto de repositorios o directorios, trocearlos y serializarlos para su uso en grandes modelos lingüísticos (LLM). La herramienta utiliza la regla .gitignore por defecto para omitir archivos innecesarios, y utiliza...

Introducción completa ScrapeGraphAI es una innovadora biblioteca de raspado web Python que combina inteligentemente Large Language Modelling (LLM) y Direct Graph Logic para crear tuberías de raspado para sitios web y documentos locales. Lo que hace única a esta herramienta es su perfecto nivel de simplicidad y potencia...

Introducción general HtmlRAG es un innovador proyecto de código abierto centrado en mejorar el procesamiento de documentos HTML en sistemas de Generación Aumentada de Recuperación (RAG). El proyecto presenta un enfoque novedoso que defiende que el uso del formato HTML en los sistemas RAG es más eficiente que el texto sin formato. El proyecto contiene un ...

Introducción general DevDocs es una herramienta de código abierto completamente gratuita desarrollada por el equipo CyberAGI y alojada en GitHub. Diseñada para programadores y desarrolladores de software, parte de la URL de un documento técnico, rastrea automáticamente las páginas relevantes y las organiza en un conciso ma...

Introducción general Parsio es una herramienta de extracción de datos de documentos y correos electrónicos basada en IA que extrae automáticamente datos estructurados de PDF, correos electrónicos y otros documentos. La plataforma ofrece un potente analizador de PDF y funciones de OCR y admite una amplia gama de tipos de documentos, incluidos...

Introducción completa Vision Parse es una revolucionaria herramienta de procesamiento de documentos, que combina inteligentemente la tecnología más avanzada de modelos de lenguaje visual (Vision Language Models), la capacidad de convertir inteligentemente documentos PDF a formato Markdown de alta calidad...

Introducción Supametas.AI es una plataforma de procesamiento de datos que se especializa en la organización del desorden de páginas web, documentos, audio y vídeo en datos estructurados que la IA puede utilizar. Admite la recopilación de datos de múltiples fuentes, incluidos enlaces web, API, archivos locales, etc., y su posterior salida como JSON ...

Introducción general La API de extracción de texto (text-extract-api) es una potente herramienta diseñada para extraer y analizar el contenido de diversos formatos de documento (por ejemplo, PDF, Word, PPTX, etc.). La API utiliza tecnología punta de reconocimiento óptico de caracteres (OCR) y Ol...

Introducción general serverless-markdown-convertor es una herramienta gratuita y de código abierto, basada en Cloudflare Worker y Workers AI, que convierte una amplia gama de archivos a Markdow...

Introducción general Instructor es una popular biblioteca de Python diseñada para procesar resultados estructurados de grandes modelos lingüísticos (LLM). Basada en Pydantic, proporciona una API sencilla, transparente y fácil de usar para gestionar datos...

Introducción exhaustiva Crawl4LLM es un proyecto de código abierto desarrollado conjuntamente por la Universidad de Tsinghua y la Universidad Carnegie Mellon, centrado en optimizar la eficiencia del rastreo web para el preentrenamiento de grandes modelos (LLM). Reduce significativamente el rastreo ineficaz mediante la selección inteligente de datos web de alta calidad, afirmando ser capaz de rastrear originalmente 1...

Introducción completa OneFileLLM es una herramienta de línea de comandos de código abierto diseñada para consolidar múltiples fuentes de datos en un único archivo de texto para facilitar la entrada en grandes modelos lingüísticos (LLM). Permite procesar repositorios de GitHub, artículos de ArXiv, transcripciones de vídeos de YouTube,...

Introducción general Chunkr es una API autoalojada dedicada a convertir archivos PDF, PPTX, DOCX y Excel en datos aptos para su uso en RAG (Retrieval Augmented Generation) y LLM (Large Language Modelling). El proyecto fue desarrollado por Lumina...

Introducción general Cloudsquid es una empresa fundada en 2023 en Berlín, Alemania, centrada en simplificar el procesamiento de documentos con inteligencia artificial. Su producto principal es una plataforma de extracción de datos en línea que permite a los usuarios simplemente subir documentos como PDF, imágenes, audio, vídeo, etc. y simplemente indicar que necesitan extraer...

Introducción general par_scrape es una herramienta de rastreo web de código abierto basada en Python, lanzada en GitHub por el desarrollador Paul Robello, diseñada para ayudar a los usuarios a extraer datos de páginas web de forma inteligente. Integra Selenium...

Introducción general Rowfill es una plataforma de procesamiento de documentos de código abierto diseñada para trabajadores del conocimiento. Utiliza técnicas avanzadas de inteligencia artificial para extraer, analizar y procesar datos de documentos complejos, imágenes y PDFs.Rowfill soporta Native Large Language Model (LLM) y Ope...

Introducción general ViTLP (Visually Guided Generative Text-Layout Pre-training for Document Intelligence) es un proyecto de código abierto diseñado para pasar...

Introducción general OmniParse es una potente plataforma de análisis y optimización de datos diseñada para transformar cualquier dato no estructurado en datos estructurados y procesables, optimizada para el marco GenAI (Generative Artificial Intelligence). Tanto si trabaja con documentos, tablas, imágenes, vídeos, archivos de audio o...

Introducción TextIn es una herramienta profesional de PDF a Markdown diseñada para ayudar a los usuarios a convertir documentos PDF a formato Markdown de forma eficiente. La herramienta es compatible con una variedad de formatos de archivo, fácil de operar, la velocidad de conversión rápida, para conservar el formato PDF original y el contenido....

Introducción general llmstxt-generator es una herramienta profesional de extracción e integración de contenido web dedicada a la preparación de conjuntos de datos de texto de alta calidad para el entrenamiento y la inferencia en Large Language Models (LLM). La herramienta fue desarrollada por Mendable AI utilizando @firec...

Introducción general Pulse es una plataforma inteligente centrada en el procesamiento de documentos y la extracción de datos, diseñada para ayudar a las empresas y a los desarrolladores a analizar y procesar eficazmente una amplia gama de documentos complejos. Gracias a su avanzada tecnología de visión por ordenador y procesamiento multimodal, Pulse es capaz de extraer con precisión datos de texto, imágenes, tablas y...

Introducción completa SmolDocling es un Modelo de Lenguaje Visual (VLM) desarrollado por el equipo ds4sd en colaboración con IBM, construido sobre SmolVLM-256M y alojado en la plataforma Hugging Face. Es de pequeño tamaño, sólo ...

Introducción completa UnDatas.IO es una plataforma centrada en el análisis sintáctico y el tratamiento de datos no estructurados. Utiliza tecnología avanzada para reconocer automáticamente el diseño de los documentos y clasificar tablas, imágenes, fórmulas y texto, simplificando enormemente el proceso de tratamiento de datos. La plataforma no sólo ahorra mucho tiempo en la clasificación de datos...

Introducción completa Versatile OCR Program es una herramienta de reconocimiento óptico de caracteres (OCR) de código abierto diseñada para trabajar con documentos académicos y educativos complejos. Puede extraer texto, tablas, fórmulas matemáticas, diagramas y esquemas de PDF, imágenes y otros documentos y generar...

Introducción completa Weco AI Functions es una potente plataforma diseñada para ayudar a los usuarios a crear y desplegar rápidamente funciones de IA. Mediante la simple descripción de tareas, los usuarios pueden generar patrones de salida estructurados con pruebas A/B y supervisión observacional. La plataforma permite crear prototipos sin código...

Introducción general Trellis es una plataforma de datos centrada en convertir fuentes de datos complejas no estructuradas en formatos SQL estructurados. A través de su potente motor de IA, Trellis es capaz de procesar una amplia gama de fuentes de datos, como documentos financieros, llamadas de voz y correos electrónicos, y convertirlos en datos que se pueden utilizar y...

Introducción general zChunk es una novedosa estrategia de chunking desarrollada por ZeroEntropy que pretende ofrecer una solución para el chunking semántico genérico. La estrategia se basa en el modelo Llama-70B, que optimiza el proceso de chunking de los documentos solicitando la generación de trozos, lo que garantiza que la recuperación de información se mantenga en un alto...