HyOCR-1.5 - 腾讯混元团队开源的轻量化端到端OCR专家大模型

HyOCR-1.5是什么

HyOCR-1.5是腾讯混元团队开源的轻量化端到端OCR专家大模型，参数量仅1B，是领域首个训练、推理、权重完整开源的专家模型。采用端到端架构，输入图片即可直接输出Markdown正文、HTML表格、LaTeX公式，支持4K分辨率与128K上下文，覆盖文档解析、信息抽取、拍照翻译、图表解析、古文字识别（甲骨文至草书七体）、视频字幕提取、多页文档问答等8类以上任务，覆盖331种语言。

HyOCR-1.5的功能特色

端到端文档解析：输入图片直接输出 Markdown 正文、HTML 表格、LaTeX 公式，摆脱传统"检测—识别—拼版面"三段式流水线，避免多阶段误差累积。
密集文档与复杂版面解析：支持多栏排版、报纸等复杂版面分析，可输出层级化标题结构，准确重建表格边框逻辑。
文本检测与识别：覆盖文档、街景、手写、广告、游戏、视频等开放场景，同时返回文字内容与坐标位置。
票据证件信息抽取：支持发票、证件、收据、彩票等结构化字段提取，JSON 格式返回，适配办公自动化场景。
拍照翻译：跨语言图像翻译时保留原文版式与公式格式。
图表解析：将流程图、统计图等转换为 Mermaid、Markdown 等结构化表示，ChartArena 表现匹配甚至超越 8B 级模型。
古文字识别：支持甲骨文、金文、篆书、隶书、楷书、行书、草书七种字体识别，在 Chronicles-OCR 基准上超越 GPT-5、Gemini 3.1 Pro、Kimi K2.5。
视频字幕提取：可精准提取视频帧中的字幕文本。
多页文档问答：支持跨页检索、信息对比与证据聚合，结合 128K 长上下文处理多页 PDF。
小语种与低资源语言识别：覆盖 331 种语言，通过 Agentic Data Flow 补齐低资源语种长尾短板。
幻觉抑制：无文字图片正确处理率达 99.8%，CHAOS-Bench 页面级召回优于现有模型，复杂版面更不易漏字串行。

HyOCR-1.5的核心优势

精度 SOTA：在权威基准 OmniDocBench v1.6 上以 94.74 分位居端到端 OCR 模型第一，表格解析 TEDS 达 93.67，古文字识别能力超越 GPT-5、Gemini 3.1 Pro、Kimi K2.5 等通用大模型。
초경량：仅 1B 参数（语言模型 Hunyuan-0.5B），通过 llama.cpp 可在 CPU、消费级显卡乃至普通笔记本上本地运行，无需 GPU 服务器，大幅降低部署门槛。
速度突破：DFlash 投机解码框架让草稿模型并行预测、目标模型一次性验证，Transformers 下提速 6.37 倍、vLLM 下提速 2.14 倍，单页处理仅 1.408 秒，快过 GLM-OCR、PaddleOCR-VL-1.6 等两段式级联方案。
완전한 오픈 소스：端到端 OCR 领域首个训练代码、推理代码、模型权重（含 DFlash draft model）与数据构造方法全开源的专家模型，可复现、可二次开发。
高分辨率长上下文：原生支持 4K 分辨率输入（保持原始宽高比）与 128K 上下文窗口，轻松应对高密度文档与多页 PDF 的跨页理解。
任务覆盖广：单一模型覆盖文档解析、检测识别、信息抽取、拍照翻译、图表解析、古文字识别、字幕提取、多页问答等 8 类以上任务，支持 331 种语言，无需多模型组合。
数据飞轮机制：Agentic Data Flow 将模型短板自动转化为数据生产目标，智能体自主搜集、清洗、构建数据流，持续补齐古文字、小语种等长尾场景。
可靠性高：无文字图片正确处理率 99.8%，页面级幻觉召回优于现有模型，复杂版面不易漏字串行，结果更可信。
배포 유연성：提供 vLLM、Transformers、llama.cpp 三套推理方案，适配从云端服务到本地轻量设备的不同需求。

HyOCR-1.5官网是什么

GitHub 리포지토리:: https://github.com/Tencent-Hunyuan/HunyuanOCR
허깅페이스 모델 라이브러리:: https://huggingface.co/tencent/HunyuanOCR
arXiv 기술 논문：https://arxiv.org/pdf/2607.04884

HyOCR-1.5的操作步骤

런타임 환경 준비하기：GPU 部署建议 Linux 系统 + Python 3.12+ + CUDA 12.8 环境；若使用 llama.cpp 方案，普通 CPU、消费级显卡或笔记本即可运行。
모델 가중치 가져오기：从 HuggingFace（huggingface.co/tencent/HunyuanOCR）或 ModelScope 下载 tencent/HunyuanOCR 模型，磁盘占用约 6GB。
选择推理方案（三选一）
- vLLM（官方推荐）: 구현 pip install vllm>=0.12.0，一条命令启动服务：vllm serve tencent/HunyuanOCR --no-enable-prefix-caching --mm-processor-cache-gb 0
- 트랜스포머：安装官方指定版本 pip install git+https://github.com/huggingface/transformers@82a06db...，适合研究与自定义开发
- llama.cpp：本地轻量化运行，适合无 GPU 服务器的个人设备
编写调用指令：按官方模板构造 messages，将图片路径与任务提示词（如"检测并识别图片中的文字，将文本坐标格式化输出"或"将文档正文解析为 Markdown，表格用 HTML、公式用 LaTeX 表示"）组合，通过 apply_chat_template 生成 prompt。
配置采样参数: 설정 temperature=0（贪心采样保证 OCR 精度）、max_tokens=16384，并关闭 prefix caching 以减少开销。
경영진 추론：vLLM 调用 llm.generate()，或 Transformers 调用 model.generate()；也可直接运行官方演示脚本 python run_hy_ocr.py 快速验证。
获取结构化结果：模型直接输出 Markdown 正文、HTML 表格、LaTeX 公式或 JSON 字段，按需接入下游系统。
（可选）：服务化集成：vLLM 服务提供 OpenAI 兼容 API，可用标准 OpenAI SDK 客户端调用，便于嵌入现有业务系统。
实用提示：输入超高分辨率图片前建议适当缩放并保留宽高比；显存有限时设置 batch_size=1 并监控显存占用。

HyOCR-1.5的适用人群

办公自动化与数字化转型从业者：行政、财务、法务人员可利用其票据证件信息抽取能力，将发票、收据、合同等结构化输出 JSON 字段，实现文档数字化管理。
AI 开发者与算法工程师：模型训练、推理、权重全开源，支持二次开发与 fine-tuning，可作为构建垂直 OCR 应用或文档智能系统的基础底座。
个人开发者与中小团队：仅 1B 参数，llama.cpp 方案下普通笔记本和消费级显卡即可本地运行，无需采购 GPU 服务器，成本门槛极低。
档案管理与古籍数字化工作者：支持甲骨文、金文、篆书、隶书、楷书、行书、草书七种字体识别，古文字能力超越通用大模型，适配图书馆、博物馆、出版机构的古籍整理场景。
学术研究者与学生：论文、教材等复杂版面可解析为 Markdown + LaTeX 公式 + HTML 表格，图表可转 Mermaid，便于文献整理与知识库构建。
跨境电商与出海业务人员：拍照翻译保留版式与公式，且覆盖 331 种语言（含低资源小语种），适合多语言商品资料、单据处理。