Extração e limpeza de documentos

Introdução abrangente O OneFileLLM é uma ferramenta de linha de comando de código aberto projetada para consolidar várias fontes de dados em um único arquivo de texto para facilitar a entrada em modelos de linguagem grande (LLMs). Ele é compatível com o processamento de repositórios do GitHub, artigos do ArXiv, transcrições de vídeos do YouTube,...

Introdução geral O Chatlog é uma ferramenta de código aberto que se concentra na extração e consulta de registros de bate-papo do banco de dados local do WeChat. Ele é compatível com as versões 3.x e 4.0 do WeChat, abrangendo os sistemas Windows e macOS. Os usuários podem usar a linha de comando, a interface de terminal ou o H...

Introdução abrangente O Versatile OCR Program é uma ferramenta de reconhecimento óptico de caracteres (OCR) de código aberto projetada para trabalhar com documentos acadêmicos e educacionais complexos. Ele pode extrair texto, tabelas, fórmulas matemáticas, diagramas e esquemas de PDFs, imagens e outros documentos e gerar...

Introdução geral O DevDocs é uma ferramenta de código aberto totalmente gratuita desenvolvida pela equipe da CyberAGI e hospedada no GitHub. Projetada para programadores e desenvolvedores de software, ela começa com o URL de um documento técnico, rastreia automaticamente as páginas relevantes e as organiza em um ma...

Introdução abrangente Analisa automaticamente o layout de documentos PDF, identifica texto, títulos, imagens, tabelas, fórmulas e outros elementos na página e determina sua ordem correta. A ferramenta oferece suporte à funcionalidade de OCR e pode converter PDFs digitalizados em texto pesquisável. Ela é executada no Docker e oferece dois modelos...

Introdução geral O serverless-markdown-convertor é uma ferramenta gratuita e de código aberto, baseada no Cloudflare Worker e no Workers AI, que converte uma grande variedade de arquivos em Markdow...

Introdução geral O GPT-Crawler é uma ferramenta de código aberto desenvolvida pela equipe do BuilderIO e hospedada no GitHub. Ele rastreia o conteúdo da página inserindo um ou mais URLs de sites, gerando arquivos de conhecimento estruturado (output.jso...

Introdução geral O pure.md é uma ferramenta para agentes e desenvolvedores de IA que se concentra na conversão rápida de conteúdo ou arquivos da Web para o formato Markdown. Ele contorna as restrições anti-buscadores por meio de serviços de proxy, extrai os dados principais de uma página da Web e gera um arquivo Markdown limpo ...

Introdução geral A Cloudsquid é uma empresa fundada em 2023 em Berlim, Alemanha, com foco na simplificação do processamento de documentos com inteligência artificial. Seu principal produto é uma plataforma on-line de extração de dados que permite aos usuários simplesmente carregar documentos como PDFs, imagens, áudio, vídeo etc. e simplesmente declarar que precisam extrair...

Introdução geral O PDF Craft é uma ferramenta de código aberto projetada para digitalizar PDFs de livros e convertê-los para o formato Markdown. Ela foi desenvolvida pelo oomol-lab e está hospedada no GitHub para usuários que gostam de organizar seus livros eletrônicos. A ferramenta funciona por meio desta ...

Introdução abrangente O Supametas.AI é uma plataforma de processamento de dados especializada em organizar a desordem de páginas da Web, documentos, áudio e vídeo em dados estruturados que a IA pode usar. Ele suporta a coleta de dados de várias fontes, incluindo links da Web, APIs, arquivos locais etc., e a saída como JSON ...

Introdução geral O MarkPDFDown é uma ferramenta de código aberto. Ela usa o Multimodal Big Language Model para converter arquivos PDF em formato Markdown. O desenvolvedor é jorben, usuário do GitHub. O objetivo dessa ferramenta é simples: tornar os documentos PDF ...

Introdução abrangente O SmolDocling é um Modelo de Linguagem Visual (VLM) desenvolvido pela equipe do ds4sd em colaboração com a IBM, desenvolvido com base no SmolVLM-256M e hospedado na plataforma Hugging Face. Seu tamanho é pequeno, apenas ...

O objetivo do reconhecimento de tabelas é analisar tabelas em imagens, identificar com precisão as estruturas das tabelas e os locais das células e reduzi-las a formatos de tabelas estruturadas (por exemplo, HTML). Na atual era da informação, uma grande quantidade de dados tabulares importantes ainda existe em um estado não estruturado (por exemplo, documentos digitalizados com imagens de tabelas estatísticas...).

Na longa história da civilização humana, cada salto na forma como as informações são adquiridas e analisadas contribuiu profundamente para o progresso social. Desde os antigos hieróglifos, passando pelo papiro portátil, até o surgimento posterior da prensa tipográfica e a atual onda digital, cada inovação tecnológica expandiu enormemente o paradigma da disseminação do conhecimento humano...

Introdução geral O Firecrawl MCP Server é uma ferramenta de código aberto desenvolvida pela MendableAI, com base na implementação do protocolo Model Context Protocol (MCP), com o Firecrawl A...

Introdução geral O olmOCR é uma ferramenta de código aberto desenvolvida pela equipe do AllenNLP no Allen Institute for Artificial Intelligence (AI2) que se concentra na conversão de arquivos PDF...

Introdução geral O par_scrape é uma ferramenta de rastreamento da Web de código aberto baseada em Python, lançada no GitHub pelo desenvolvedor Paul Robello, criada para ajudar os usuários a extrair dados de forma inteligente de páginas da Web. Ele integra o Selenium...

Introdução abrangente O PDF-Extract-Kit é um projeto de código aberto desenvolvido pela equipe do OpenDataLab, com foco na extração eficiente de conteúdo de alta qualidade de documentos PDF complexos e diversos. Ele integra tecnologia avançada de análise de documentos para oferecer suporte à detecção de layout, reconhecimento de fórmulas ...

Introdução abrangente O Crawl4LLM é um projeto de código-fonte aberto desenvolvido em conjunto pela Universidade de Tsinghua e pela Universidade Carnegie Mellon, com foco na otimização da eficiência do rastreamento da Web para pré-treinamento de modelos grandes (LLM). Ele reduz significativamente o rastreamento ineficaz por meio da seleção inteligente de dados da Web de alta qualidade, alegando ser capaz de rastrear originalmente 1...

Introdução geral O Markdownify MCP Server é uma ferramenta de código aberto baseada no Model Context Protocol, hospedada no GitHub pelo desenvolvedor Zach Caceres ...

Introdução geral O CodeWeaver é uma ferramenta de linha de comando projetada para criar bibliotecas de código em documentos Markdown únicos e fáceis de navegar. Ele gera uma representação estruturada da hierarquia de arquivos de um projeto, examinando recursivamente os diretórios e incorporando o conteúdo de cada arquivo em blocos de código. Essa ferramenta...

Introdução geral Kreuzberg é uma biblioteca para simplificar a extração de texto de arquivos PDF, projetada para fornecer uma solução de extração de texto simples e sem complicações. A biblioteca é especialmente adequada para RAG (Retrieval-Augmented Generatio...

Introdução geral O Instructor é uma biblioteca Python popular projetada para processar a saída estruturada de modelos de linguagem grande (LLMs). Criada com base no Pydantic, ela fornece uma API simples, transparente e fácil de usar para gerenciar dados...

Introdução abrangente O zChunk é uma nova estratégia de fragmentação desenvolvida pela ZeroEntropy que visa a fornecer uma solução para a fragmentação semântica genérica. A estratégia se baseia no modelo Llama-70B, que otimiza o processo de fragmentação de documentos, solicitando a geração de blocos, garantindo que a recuperação de informações seja mantida em um alto nível...

Introdução abrangente O Pulse é uma plataforma inteligente voltada para o processamento de documentos e a extração de dados, projetada para ajudar empresas e desenvolvedores a analisar e processar com eficiência uma grande variedade de documentos complexos. Por meio de sua avançada tecnologia de visão computacional e processamento multimodal, o Pulse é capaz de extrair com precisão dados de textos, imagens, tabelas e muitos outros...

Introdução geral O Rowfill é uma plataforma de processamento de documentos de código aberto projetada para profissionais do conhecimento. Ele usa técnicas avançadas de inteligência artificial para extrair, analisar e processar dados de documentos, imagens e PDFs complexos. O Rowfill é compatível com o Native Large Language Model (LLM) e o Ope...

Introdução geral O PPTX2MD é uma ferramenta de código aberto projetada para converter arquivos PPTX do PowerPoint para o formato Markdown. Desenvolvida pelo usuário ssine do GitHub, a ferramenta suporta a preservação de títulos, listas, formatação de texto (por exemplo, negrito, itálico, cores e super...

Introdução geral O Repomix (anteriormente conhecido como Repopack) é uma ferramenta de código aberto projetada para empacotar toda uma base de código em um único arquivo compatível com IA. Essa ferramenta permite que os desenvolvedores disponibilizem facilmente sua base de código para grandes modelos de linguagem (como Claude, Chat...

Introdução geral O Yek é uma ferramenta rápida baseada em Rust para ler arquivos de texto de repositórios ou diretórios, dividi-los em pedaços e serializá-los para uso em modelos de linguagem grande (LLMs). Por padrão, a ferramenta usa a regra .gitignore para ignorar arquivos desnecessários e usa...

Introdução abrangente O LlamaParse é uma poderosa ferramenta de análise de documentos que pode processar documentos complexos, como PDF, PowerPoint, Word e planilhas, e convertê-los em dados estruturados.

Introdução abrangente O UnDatas.IO é uma plataforma voltada para a análise e o processamento de dados não estruturados. Ela utiliza tecnologia avançada para reconhecer automaticamente os layouts de documentos e classificar tabelas, imagens, fórmulas e textos, simplificando bastante o processo de processamento de dados. A plataforma não apenas economiza muito tempo na classificação de dados...

Introdução geral O Zerox é um projeto de código aberto desenvolvido para converter PDF, DOCX, imagens e outros documentos para o formato Markdown por meio de modelos visuais. O projeto foi desenvolvido pela equipe getomni-ai e oferece uma solução simples e eficiente de OCR (reconhecimento óptico de caracteres).

Introdução abrangente O SemHash é uma ferramenta leve e flexível para eliminar a duplicação de conjuntos de dados por similaridade semântica. Ele combina a rápida geração de incorporação do Model2Vec com a eficiente pesquisa de similaridade ANN (vizinho mais próximo aproximado) do Vicinity.SemHa...

Descrição geral O Parseur é um software líder de extração de dados de IA projetado para ajudar os usuários a extrair automaticamente dados de texto de PDFs, e-mails e outros documentos. Com o Parseur, os usuários podem converter facilmente dados não estruturados em dados estruturados e enviá-los para vários aplicativos...

Introdução abrangente O Weco AI Functions é uma plataforma avançada projetada para ajudar os usuários a criar e implementar rapidamente funções de IA. Com a simples descrição de tarefas, os usuários podem gerar padrões de saída estruturados com testes A/B e monitoramento observacional. A plataforma oferece suporte à prototipagem sem código...

Introdução abrangente O NV Ingest (NVIDIA Ingest) é um conjunto de microsserviços de acesso antecipado projetado para analisar centenas de milhares de PDFs não estruturados complexos e confusos e outros documentos corporativos. Ele pode converter esses documentos em metadados e texto para serem incorporados à recuperação...

Introdução geral O Trellis é uma plataforma de dados focada na conversão de fontes de dados complexas e não estruturadas em formatos SQL estruturados. Por meio de seu avançado mecanismo de IA, o Trellis é capaz de processar uma ampla gama de fontes de dados, como documentos financeiros, chamadas de voz e e-mails, e convertê-los em dados que podem ser usados e...

Introdução abrangente O Ollama OCR é um poderoso kit de ferramentas de reconhecimento óptico de caracteres (OCR) que usa o modelo de linguagem visual de última geração fornecido pela plataforma Ollama para extrair texto de imagens. O projeto está disponível como um pacote Python e fornece um software Strea...

Introdução abrangente O llmstxt-generator é uma ferramenta profissional de extração e integração de conteúdo da Web dedicada à preparação de conjuntos de dados textuais de alta qualidade para treinamento e inferência em modelagem de linguagem ampla (LLM). A ferramenta foi desenvolvida pela Mendable AI usando o @firec...

Introdução abrangente O Doc2X é uma poderosa ferramenta de conversão e reconhecimento de fórmulas de imagens de documentos, comprometida em fornecer soluções eficientes e inteligentes de processamento de documentos. Quer se trate de um trabalho de pesquisa acadêmica, um livro didático, um documento corporativo ou um relatório financeiro, o Doc2X pode identificar com precisão tabelas e...

Introdução abrangente O ExtractThinker é uma ferramenta flexível de inteligência de documentos que extrai e classifica dados estruturados de documentos usando Modelos de Linguagem Grandes (LLMs), fornecendo um fluxo de trabalho de processamento de documentos semelhante ao ORM. Ele é compatível com vários carregadores de documentos, incluindo o Tess...

Introdução abrangente O HtmlRAG é um projeto inovador de código aberto voltado para o aprimoramento do processamento de documentos HTML em sistemas RAG (Retrieval Augmented Generation). O projeto apresenta uma nova abordagem que argumenta que o uso da formatação HTML em sistemas RAG é mais eficiente do que o texto simples. O projeto contém uma versão completa ...

Introdução abrangente O ScrapeGraphAI é uma biblioteca inovadora de raspagem da Web em Python que combina de forma inteligente a Modelagem de Linguagem Grande (LLM) e a Lógica Gráfica Direta para criar pipelines de raspagem para sites e documentos locais. O que torna essa ferramenta única é seu nível perfeito de simplicidade e potência...

Introdução abrangente O Vision Parse é uma ferramenta revolucionária de processamento de documentos, que combina de forma inteligente a mais avançada tecnologia de modelos de linguagem visual (Vision Language Models), a capacidade de converter documentos PDF de forma inteligente em um formato Markdown de alta qualidade...

Introdução geral Outlines é uma biblioteca de código aberto desenvolvida pela dottxt-ai para aprimorar a aplicação de modelos de linguagem ampla (LLMs) por meio da geração de texto estruturado. A biblioteca oferece suporte a uma variedade de integrações de modelos, incluindo OpenAI, transformadores...

Introdução geral O MarkItDown é uma ferramenta Python desenvolvida pela Microsoft e projetada para converter vários arquivos e documentos de escritório no formato Markdown. A ferramenta é compatível com uma ampla variedade de tipos de arquivos, incluindo PDF, PowerPoint, Word, Excel, diagramas...

Introdução geral O Chunkr é uma API auto-hospedada dedicada à conversão de arquivos PDF, PPTX, DOCX e Excel em dados adequados para uso em RAG (Retrieval Augmented Generation) e LLM (Large Language Modelling). O projeto foi desenvolvido pela Lumina...

Introdução geral O GitIngest é uma ferramenta de código aberto projetada para transformar repositórios de código do GitHub em texto adequado para dicas do Modelo de Linguagem Grande (LLM). Com uma operação simples, os usuários podem extrair e formatar o conteúdo de qualquer repositório do GitHub para se adequar ao LLM ...

Introdução geral A E2M (Everything to Markdown) é uma biblioteca Python de código aberto projetada para converter uma ampla variedade de formatos de arquivo para o formato Markdown. A ferramenta suporta formatos como doc, docx, epub, html, htm, u...

Introdução abrangente O Docling é uma poderosa ferramenta de análise e exportação de documentos que suporta uma ampla gama de formatos de documentos, incluindo PDF, DOCX, PPTX, XLSX, Imagem, HTML, AsciiDoc e Markdown.

Introdução geral O MegaParse é uma ferramenta poderosa e versátil de análise de documentos projetada para otimizar o processamento de dados para o Large Language Model (LLM). Não importa se você está trabalhando com texto, PDF, apresentações do PowerPoint ou documentos do Word, o MegaParse...

Introdução abrangente O ViTLP (Visually Guided Generative Text-Layout Pre-training for Document Intelligence) é um projeto de código aberto desenvolvido para passar...

Introdução geral O Trieve é uma infraestrutura abrangente desenvolvida pela Devflow, Inc., projetada para pesquisa, recomendações, RAG (Retrieval Augmented Generation) e análise. A plataforma é servida por meio de uma API e oferece suporte à auto-hospedagem para AWS, GCP, K...

Introdução abrangente pdf2htmlEX é uma ferramenta de código aberto projetada para converter arquivos PDF para o formato HTML, analisando o conteúdo do arquivo PDF e usando HTML + CSS para restaurar com precisão seu efeito visual, o documento PDF será convertido em um navegador ...

Introdução abrangente O Maxun é uma plataforma de extração de dados da Web de código aberto e sem código que permite aos usuários treinar robôs em minutos para rastrear automaticamente dados da Web e convertê-los em APIs ou planilhas. A plataforma oferece suporte a paginação e rolagem, adapta-se a alterações no layout do site, fornece rastreamento avançado de dados...

Introdução geral O OmniParse é uma poderosa plataforma de análise e otimização de dados projetada para transformar quaisquer dados não estruturados em dados estruturados e acionáveis otimizados para a estrutura GenAI (Generative Artificial Intelligence). Não importa se você está trabalhando com documentos, tabelas, imagens, vídeos, arquivos de áudio ou...

Descrição geral O Parsio é uma ferramenta de extração de dados de documentos e e-mails baseada em IA que extrai automaticamente dados estruturados de PDFs, e-mails e outros documentos. A plataforma fornece um analisador de PDF avançado e funcionalidade de OCR e oferece suporte a uma ampla variedade de tipos de documentos, incluindo...

Introdução abrangente O Chonkie é uma biblioteca de fragmentação de texto RAG (Retrieval-Augmented Generation) leve e eficiente, criada para ajudar os desenvolvedores a fragmentar o texto de forma rápida e fácil. A biblioteca oferece suporte a uma variedade de métodos de fragmentação, incluindo ...

Introdução abrangente O TextIn é uma ferramenta profissional de PDF para Markdown projetada para ajudar os usuários a converter eficientemente documentos PDF para o formato Markdown. A ferramenta é compatível com vários formatos de arquivo, é fácil de operar, tem alta velocidade de conversão e mantém o formato e o conteúdo originais do PDF...

Introdução abrangente A API de extração de texto (text-extract-api) é uma ferramenta avançada projetada para extrair e analisar o conteúdo de vários formatos de documentos (por exemplo, PDF, Word, PPTX etc.). A API utiliza tecnologia de ponta de reconhecimento óptico de caracteres (OCR) e Ol...

Introdução abrangente O Datalab oferece uma variedade de modelos avançados de IA com foco em OCR, análise de layout, PDF para Markdown e muito mais. Esses modelos não são apenas de alto desempenho, mas também fáceis de usar e de código aberto. Os modelos Marker da plataforma podem ser usados com rapidez e precisão...

Introdução abrangente O MinerU é uma ferramenta de extração de dados de código aberto desenvolvida pela equipe do OpenDataLab no Laboratório de Inteligência Artificial de Xangai, com foco na extração eficiente de conteúdo de documentos PDF complexos, páginas da Web e eBooks. Ele é capaz de obter PDFs multimodais contendo imagens, fórmulas, tabelas e outros elementos...

Descrição geral O Marker é uma ferramenta de processamento de documentos baseada em aprendizagem profunda, projetada para converter arquivos PDF para o formato Markdown com rapidez e precisão. Ele oferece suporte a uma ampla variedade de tipos de documentos e é especialmente otimizado para a conversão de livros e artigos científicos.

Descrição geral O Mathpix é uma poderosa ferramenta de automação de documentos orientada por IA, projetada para pesquisadores, desenvolvedores e empresas. Ele converte PDFs e imagens de forma rápida e precisa em texto pesquisável, exportável e legível por máquina. O Mathpix oferece uma ampla gama de recursos...

Introdução abrangente O Unstructured-IO fornece um conjunto de componentes de código aberto para processamento e pré-processamento de imagens e documentos de texto, como PDF, HTML, documentos do Word etc. Seu principal objetivo é simplificar e otimizar os fluxos de trabalho de processamento de dados, especialmente para modelos de linguagem grandes (LL...

Introdução geral O projeto Reader da Jina AI é uma ferramenta de código aberto (endereço de código aberto do Reader) que usa qualquer URL adicionando o prefixo https://r.jina.ai/转换成适合大型语言模型 (Large Languag...