AIパーソナル・ラーニング
と実践的なガイダンス
サイバーナイフ用ドローイングミラー
全66記事

タグ: ドキュメントの抽出とクリーニング 4ページ

Chonkie: 軽量なRAGテキストチャンキングライブラリ

一般的な紹介 Chonkieは軽量で効率的なRAG(Retrieval-Augmented Generation)テキストチャンキングライブラリで、開発者が素早く簡単にテキストをチャンキングできるように設計されています。このライブラリは、トークン、単語、センテンス、意味的類似性に基づいたチャンキングなど、様々なチャンキング手法をサポートしています。

TextIn:通用文档转换,PDF转Markdown工具-首席AI分享圈

TextIn: ユニバーサルドキュメント変換、PDF to Markdownツール

包括的な紹介 TextInは、ユーザーが効率的にPDF文書をMarkdown形式に変換するために設計された専門的なPDF to Markdownツールです。このツールは様々なファイル形式をサポートし、操作が簡単で、変換速度が速く、元のPDF形式と内容を保持することができ、文書処理の効率を向上させます。それが...

文本提取API(text-extract-api):视觉提取文本信息,匿名化的PDF提取工具-首席AI分享圈

テキスト抽出 API (text-extract-api): テキスト情報の視覚的抽出、匿名化 PDF 抽出ツール

概要 テキスト抽出API(text-extract-api)は、様々な文書形式(PDF、Word、PPTXなど)からコンテンツを抽出・解析するために設計された強力なツールです。このAPIは、最先端の光学式文字認識(OCR)技術とOllamaがサポートするモデルを利用し、あらゆる文書や画像を...

Datalab:专用OCR识别AI模型,PDF转Markdown(开源/API)-首席AI分享圈

Datalab:専用のOCR認識AIモデル、PDF to Markdown(オープンソース/API)

包括的な紹介 Datalabは、OCR、レイアウト分析、PDFからMarkdownへの変換などに焦点を当てた高度なAIモデルを幅広く提供しています。これらのモデルは高性能であるだけでなく、使いやすくオープンソースです。プラットフォーム上のMarkerモデルは、表を含むPDFを素早く正確にMarkdownに変換することができます...

MinerU:PDF文档提取转换为多模态Markdown格式,支持电子书OCR扫描-首席AI分享圈

MinerU: PDFドキュメントの抽出とマルチモーダルMarkdownフォーマットへの変換、電子書籍OCRスキャンのサポート

包括的な紹介 MinerUは、上海人工知能研究所のOpenDataLabチームによって開発されたオープンソースのデータ抽出ツールで、複雑なPDF文書、ウェブページ、電子ブックからコンテンツを効率的に抽出することに重点を置いています。画像、数式、表、その他の要素を含むマルチモーダルPDFドキュメントを、分析しやすいm...

Marker:快速将PDF转换为Markdown的开源工具-首席AI分享圈

Marker:PDFをMarkdownに素早く変換するオープンソースツール

一般的な紹介 Markerは、PDFファイルをMarkdown形式に迅速かつ正確に変換するために設計されたディープラーニングベースの文書処理ツールです。幅広い種類のドキュメントをサポートし、特に書籍や科学論文の変換に最適化されています。Markerは、ヘッダーやフッターなどの冗長なコンテンツを削除し、表や...

Mathpix:PDF和图片文档结构化转换软件,支持多终端-首席AI分享圈

Mathpix:PDFと画像ドキュメントの構造変換ソフトウェア、マルチターミナルをサポート

概要 Mathpixは、研究者、開発者、および企業向けに設計された、強力なAI駆動型文書自動化ツールです。Mathpixは、PDFや画像を検索可能、エクスポート可能、機械可読テキストに迅速かつ正確に変換します。Mathpixは、数式認識、LaT...

Unstructured:开源预处理非结构化文档,无结构数据处理的利器-首席AI分享圈

非構造化:オープンソースの非構造化ドキュメントの前処理、非構造化データ処理ツール

包括的な紹介 Unstructured-IOは、PDF、HTML、Word文書などの画像やテキスト文書の処理と前処理のためのオープンソースコンポーネントのセットを提供します。その主な目的は、特に大規模言語モデル(LLM)アプリケーションをサポートするために、データ処理ワークフローを簡素化し最適化することです。

Reader API:网页内容提取工具,HTML转换为Markdown格式-首席AI分享圈

Reader API: ウェブコンテンツ抽出ツール、HTMLからMarkdownへの変換

包括的な紹介 Jina AIのReaderプロジェクトはオープンソースツール(Readerオープンソースアドレス)であり、接頭辞https://r.jina.ai/转换成适合大型语言模型(Large Language Models、LLM)入力形式を追加することにより、任意のURLにすることができ、動的ストリーミングモードと画像の読み取りをサポートしています...

ja日本語