SemHash：快速实现语义文本去重，提升数据清理效率
综合介绍 SemHash 是一个轻量级且灵活的工具，用于通过语义相似性来去重数据集。它结合了 Model2Vec 的快速嵌入生成和 Vicinity 的高效 ANN（近似最近邻）相似性搜索。SemHash 支持单数据集去重（例如，清理训练...
共 30 篇文章
标签：文档提取与清洗
Parseur：自动化提取文档数据，各类文档中提取结构化文本
综合介绍 Parseur是一款领先的AI数据提取软件，旨在帮助用户从PDF、电子邮件和其他文档中自动提取文本数据。通过Parseur，用户可以轻松地将非结构化数据转换为结构化数据，并将其发送到各种应用程序中。该软件广...
GizAI 集成主流商业化生成式AI工具，不限文本、图像、音频、视频生成工具，这一切完全免费！
GizAI 是一个集成了AI生成、笔记和云存储功能的一站式平台。用户可以通过GizAI生成图像、视频、音频、文本、角色、故事和游戏，并且可以在平台上进行协作笔记和云存储。GizAI 提供了多种AI工具，帮助用户提高生产力和创造力，同时保护用户隐私，不会在未经同意的情况下使用用户数据进行AI训练。 GizAI 由 Giz Inc. 运营，成立于 Stripe Atlas，并获得 Google for Startups Cloud、Microsoft for Startups Founders Hub、AWS Activate 和 Paddle AI LaunchPad 等项目的支持。GizAI 坚信 使用先进的 生成式AI技术 是每个人的权力，提供免费的广告支持计划，允许用户生成、协作和分享内容。
NV Ingest：解析复杂格式文档，提取多模态数据为元数据和文本
综合介绍 NV Ingest（NVIDIA Ingest） 是一套早期访问的微服务，专为解析数十万复杂、混乱的非结构化 PDF 和其他企业文档而设计。它能够将这些文档转换为元数据和文本，以便嵌入到检索系统中。NVIDIA Ingest 支持...
Trellis：转换非结构文档为结构化EXCEL格式数据，PDF快速转表格（付费）
综合介绍 Trellis是一款专注于将复杂的非结构化数据源转换为结构化SQL格式的数据平台。通过其强大的AI引擎，Trellis能够处理金融文档、语音通话和电子邮件等多种数据源，并将其转换为可供数据和操作团队使用的SQL...
Ollama OCR：使用Ollama中视觉模型提取图像中的文本
综合介绍 Ollama OCR是一个强大的光学字符识别(OCR)工具包，它利用Ollama平台提供的最先进视觉语言模型来从图像中提取文本。该项目既可作为Python包使用，也提供了用户友好的Streamlit网页应用程序界面。它支持多...
llms.txt Generator：快速抓取网站内容并，生成LLM训练文本数据集
综合介绍 llmstxt-generator 是一个专业的网站内容提取和整合工具，专门为大语言模型(LLM)的训练和推理准备高质量文本数据集。该工具由 Mendable AI 开发，采用 @firecrawl_dev 提供的网页爬虫技术和 GPT-4-mini ...
ExtractThinker：提取和分类文档为结构化数据，优化文档处理流程
综合介绍 ExtractThinker 是一个灵活的文档智能工具，利用大型语言模型（LLMs）从文档中提取和分类结构化数据，提供类似 ORM 的无缝文档处理工作流。它支持多种文档加载器，包括 Tesseract OCR、Azure Form Recog...
HtmlRAG：构建高效HTML检索增强生成系统，优化RAG系统中的HTML文档检索与处理
综合介绍 HtmlRAG是一个创新的开源项目，专注于改进检索增强生成(RAG)系统中的HTML文档处理方法。该项目提出了一种新颖的方法，认为在RAG系统中使用HTML格式比纯文本更有效。项目包含了完整的数据处理流程，从查...
ScrapeGraphAI：一个提示词搞定网页抓取，无需编写规则智能网页内容提取工具
综合介绍 ScrapeGraphAI是一个创新的Python网页抓取库，它巧妙地结合了大语言模型(LLM)和直接图逻辑来创建网站和本地文档的抓取管道。这个工具的独特之处在于它的简单性和强大功能的完美平衡：用户只需描述想要提...
Vision Parse：使用视觉语言模型将PDF文档智能转换为Markdown格式
综合介绍 Vision Parse是一个革命性的文档处理工具，它巧妙地结合了最先进的视觉语言模型(Vision Language Models)技术，能够将PDF文档智能转换为优质的Markdown格式内容。该工具支持多种顶级视觉语言模型，包括O...
简体中文 
English 
日本語 
Deutsch (Sie) 
Português do Brasil