Tags: extração e limpeza de documentos

Introdução geral O Chatlog é uma ferramenta de código aberto que se concentra na extração e consulta de registros de bate-papo do banco de dados local do WeChat. Ele é compatível com as versões 3.x e 4.0 do WeChat, abrangendo os sistemas Windows e macOS. Os usuários podem usar a linha de comando, a interface de terminal ou a operação da API HTTP para visualizar os registros de bate-papo, os contatos...

Introdução abrangente O Versatile OCR Program é uma ferramenta de reconhecimento óptico de caracteres (OCR) de código aberto projetada para processar documentos acadêmicos e educacionais complexos. Ele pode extrair textos, tabelas, fórmulas matemáticas, diagramas e esquemas de PDFs, imagens e outros documentos e gerar estruturas adequadas para treinamento de aprendizado de máquina...

Introdução geral O DevDocs é uma ferramenta de código aberto totalmente gratuita desenvolvida pela equipe da CyberAGI e hospedada no GitHub. Projetada para programadores e desenvolvedores de software, ela parte do URL de um documento técnico, rastreia automaticamente as páginas relevantes e as organiza em arquivos Markdown ou JSON concisos. Ele tem um...

Introdução abrangente Analisa automaticamente o layout de documentos PDF, identifica texto, títulos, imagens, tabelas, fórmulas e outros elementos na página e determina sua ordem correta. A ferramenta é compatível com a funcionalidade OCR e permite converter PDFs digitalizados em texto pesquisável. Ela é executada no Docker e oferece dois modelos: modelo visual (Vis...

Introdução geral O serverless-markdown-convertor é uma ferramenta de código aberto gratuita, baseada no desenvolvimento do Cloudflare Worker e do Workers AI, que pode converter uma variedade de arquivos para o formato Markdown. Ele é compatível com PDF, imagens, documentos do Office, HTML e outros tipos de arquivos comuns, sem a necessidade de ...

Introdução geral O GPT-Crawler é uma ferramenta de código aberto desenvolvida pela equipe do BuilderIO e hospedada no GitHub. Ele rastreia o conteúdo da página inserindo um ou mais URLs de sites, gerando um arquivo de conhecimento estruturado (output.json) para criar GPTs personalizados ou assistentes de IA. Os usuários podem...

Introdução geral O pure.md é uma ferramenta projetada para agentes e desenvolvedores de IA que se concentra na conversão rápida de conteúdo ou arquivos da Web para o formato Markdown. Ela contorna as restrições anti rastreamento por meio de serviços de proxy, extrai os dados principais de uma página da Web e gera um arquivo Markdown conciso. Seja uma página da Web dinâmica, um arquivo PDF...

Introdução geral A Cloudsquid é uma empresa fundada em 2023 em Berlim, Alemanha, com foco na simplificação do processamento de documentos com inteligência artificial. Seu principal produto é uma plataforma on-line de extração de dados que permite aos usuários fazer upload de PDFs, imagens, áudio, vídeo etc. e simplesmente informar quais dados precisam ser extraídos, por exemplo, "Find...

Introdução geral O PDF Craft é uma ferramenta de código aberto projetada para digitalizar PDFs de livros e convertê-los para o formato Markdown. Ela foi desenvolvida pelo oomol-lab e hospedada no GitHub para usuários que gostam de organizar seus e-books. A ferramenta é executada por meio de um modelo de IA local sem a necessidade de uma conexão com a Internet, o que preserva a privacidade e...

Introdução abrangente A Supametas.AI é uma plataforma de processamento de dados especializada em organizar a desordem de páginas da Web, documentos, áudio e vídeo em dados estruturados que a IA pode usar. Ele suporta a coleta de dados de várias fontes, incluindo links da Web, APIs, arquivos locais etc., e depois os exporta para o formato JSON ou Markdown. Plataforma...

Introdução geral O MarkPDFDown é uma ferramenta de código aberto. Ela aproveita o modelo multimodal de big language para converter arquivos PDF em formato Markdown. O desenvolvedor é o usuário do GitHub jorben. O objetivo dessa ferramenta é simples: tornar os documentos PDF mais fáceis de editar e compartilhar. Ela reconhece títulos,...

O SmolDocling é um modelo de linguagem visual (VLM) desenvolvido pela equipe do ds4sd em colaboração com a IBM, com base no SmolVLM-256M, hospedado na plataforma Hugging Face. O SmolDocling é um modelo de linguagem visual (VLM) baseado no SmolVLM-256M, hospedado na plataforma Hugging Face. É o menor VLM do mundo, com apenas 256 milhões de parâmetros, e sua principal função é...

O objetivo do reconhecimento de tabelas é analisar tabelas em imagens, identificar com precisão as estruturas das tabelas e os locais das células e reduzi-las a formatos de tabelas estruturadas (por exemplo, HTML). Na atual era da informação, uma grande quantidade de dados tabulares importantes ainda existe em um estado não estruturado (por exemplo, imagens de estatísticas de informações em documentos digitalizados, p...

Na longa história da civilização humana, cada salto na forma como as informações são adquiridas e analisadas impulsionou profundamente o progresso social. Desde os antigos hieróglifos, passando pelo papiro portátil, até o surgimento posterior da prensa tipográfica e a atual onda digital, cada inovação tecnológica expandiu enormemente a transmissão do conhecimento humano...

Introdução abrangente O Firecrawl MCP Server é uma ferramenta de código aberto desenvolvida pela MendableAI, com base na implementação do protocolo MCP (Model Context Protocol), integrada à API do Firecrawl para fornecer rastreamento avançado da Web e extração de dados. Ele foi projetado para modelos de IA (como Cursor, Cla...

Introdução abrangente O olmOCR é uma ferramenta de código aberto desenvolvida pela equipe do AllenNLP no Allen Institute for Artificial Intelligence (AI2) que se concentra na conversão de arquivos PDF em texto linearizado e é especialmente adequada para a preparação de conjuntos de dados e treinamento de modelos de linguagem em larga escala (LLMs). Ele ...

Introdução geral O par_scrape é uma ferramenta de rastreamento da Web de código aberto baseada em Python, lançada no GitHub pelo desenvolvedor Paul Robello, criada para ajudar os usuários a extrair dados de páginas da Web de forma inteligente. Ele integra duas poderosas tecnologias de automação de navegador, Selenium e Playwright, e combina...

Introdução abrangente O PDF-Extract-Kit é um projeto de código aberto desenvolvido pela equipe do OpenDataLab, com foco na extração eficiente de conteúdo de alta qualidade de documentos PDF complexos e diversos. Ele integra tecnologia avançada de análise de documentos, suporte para detecção de layout, reconhecimento de fórmulas, extração de tabelas e OCR e outras funções para ...

Introdução abrangente O Crawl4LLM é um projeto de código-fonte aberto desenvolvido em conjunto pela Universidade de Tsinghua e pela Universidade Carnegie Mellon, com foco na otimização da eficiência do rastreamento da Web para pré-treinamento de modelos grandes (LLM). Ele reduz significativamente o rastreamento ineficaz por meio da seleção inteligente de dados de páginas da Web de alta qualidade, alegando ser capaz de rastrear originalmente 100 páginas da Web de trabalho...