综合介绍
magic-html是一个Python库，旨在简化从HTML中提取主体区域内容的过程。无论处理的是复杂的HTML结构还是简单的网页，这个库都旨在为用户提供一个便捷高效的接口。它支持多模态抽取，支持多种版面extractor，包括文章、论坛和微信文章，还支持latex公式提取转换。
功能列表
- 提取HTML主体区域内容
- 支持多模态抽取
- 支持文章、论坛和微信文章版面
- 支持latex公式提取转换
- 自定义输出纯文本或markdown格式
使用帮助
安装
要安装magic-html，可以使用pip命令：
pip install magic-html
使用
安装完成后，可以通过以下代码进行使用：
from magic_html import GeneralExtractor
# 初始化提取器
extractor = GeneralExtractor()
# 示例HTML内容
html = """
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
"""
# 提取数据
data = extractor.extract(html)
print(data)
功能操作流程
- 初始化提取器：首先需要导入magic-html库并初始化提取器。
- 准备HTML内容：将需要提取内容的HTML代码准备好，可以是字符串形式。
- 调用提取方法：使用
extract方法提取主体内容。可以根据需要指定不同的HTML类型，如文章、论坛或微信文章。 - 输出结果：提取结果可以是纯文本或markdown格式，具体取决于用户的需求。
示例
以下是一个完整的示例，展示如何从一个简单的HTML页面中提取主体内容：
from magic_html import GeneralExtractor
# 初始化提取器
extractor = GeneralExtractor()
# 示例HTML内容
html = """
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
"""
# 提取数据
data = extractor.extract(html)
print(data)
