https://github.com/liuhuapiaoyuan/mineru-webui
MinerU是一款开源的高质量PDF解析工具，基于深度学习技术，可自动提取PDF文档中的文字、表格、图片、公式等内容，并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI，方便用户上传PDF文件，并实时展示提取结果。
https://github.com/liuhuapiaoyuan/mineru-webui
Last synced: 3 months ago
JSON representation
MinerU是一款开源的高质量PDF解析工具，基于深度学习技术，可自动提取PDF文档中的文字、表格、图片、公式等内容，并提供丰富的分析、统计、搜索等功能。 本项目为其提供一个简化版本的WebUI，方便用户上传PDF文件，并实时展示提取结果。
- Host: GitHub
- URL: https://github.com/liuhuapiaoyuan/mineru-webui
- Owner: liuhuapiaoyuan
- Created: 2024-09-08T15:06:03.000Z (9 months ago)
- Default Branch: main
- Last Pushed: 2024-09-08T15:11:37.000Z (9 months ago)
- Last Synced: 2024-09-08T17:13:10.393Z (9 months ago)
- Language: Python
- Size: 827 KB
- Stars: 2
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.MD
Awesome Lists containing this project
README
## 项目简介
MinerU是一款开源的高质量PDF解析工具，基于深度学习技术，可自动提取PDF文档中的文字、表格、图片、公式等内容，并提供丰富的分析、统计、搜索等功能。
本项目为其提供一个简化版本的WebUI，方便用户上传PDF文件，并实时展示提取结果。
## 🚀推荐 `MinerU-PDFScanner` 🌟
欢迎大家使用配套的新程序`MinerU-PDFScanner`, 可以将本程序作为后端调用，支持多任务并行处理，支持历史数据查看，支持导出包
## 说明：有条件的，用`gpu`加速，提升OCR解析速度
1. 卸载 `pip uninstall paddlepaddle`
2. 安装cuda版本对应的paddle
## 更新日志
### 2024.10.11
- 支持API接口 👏👏👏👏
- 接口支持异步处理，并发处理🔥🔥🔥🔥
- 接口文档`http://127.0.0.1:8080/docs#/`
## 1. 第一次运行前的配置
在仓库根目录可以获得 [magic-pdf.template.json](doc/magic-pdf.template.json) 配置模版文件
> ❗️务必执行以下命令将配置文件拷贝到【用户目录】下，否则程序将无法运行
>
> windows用户目录为 "C:\Users\用户名"
```powershell
(New-Object System.Net.WebClient).DownloadFile('https://gitee.com/myhloli/MinerU/raw/master/magic-pdf.template.json', 'magic-pdf.template.json')
cp magic-pdf.template.json ~/magic-pdf.json
```
在用户目录中找到magic-pdf.json文件并配置"models-dir"为[5. 下载模型](#5-下载模型)中下载的模型权重文件所在目录
> ❗️务必正确配置模型权重文件所在目录的【绝对路径】，否则会因为找不到模型文件而导致程序无法运行
>
> windows系统中此路径应包含盘符，且需把路径中所有的`"\"`替换为`"/"`,否则会因为转义原因导致json文件语法错误。
>
> 例如：模型放在D盘根目录的models目录，则model-dir的值应为"D:/models"
```json
{
"models-dir": "/tmp/models"
}
```
## 2. 测试CUDA加速
如果您的显卡显存大于等于8G，可以进行以下流程，测试CUDA解析加速效果
**1.覆盖安装支持cuda的torch和torchvision**
```bash
pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118
```
> ❗️务必在命令中指定以下版本
> ```bash
> torch==2.3.1 torchvision==0.18.1
> ```
> 这是我们支持的最高版本，如果不指定版本会自动安装更高版本导致程序无法运行
**2.修改【用户目录】中配置文件magic-pdf.json中"device-mode"的值**
```json
{
"device-mode":"cuda"
}
```
> 提示：CUDA加速是否生效可以根据log中输出的各个阶段cost耗时来简单判断，通常情况下，`layout detection cost` 和 `mfr time` 应提速10倍以上。
## 案例PDF可以选择 `examples/small_ocr.pdf`
## 如何下载模型权重文件
详细参考 [如何下载模型文件](https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_zh_cn.md)
> ❗️模型下载后请务必检查模型文件是否下载完整
>
> 请检查目录下的模型文件大小与网页上描述是否一致，如果可以的话，最好通过sha256校验模型是否下载完整
> 下载完成后，建议放入目录`models`，并且修改配置文件`magic-pdf.json`中的`models-dir`为模型文件所在目录的绝对路径。
## 启动项目
```bash
conda create -n MinerU python=3.10
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt
python webui.py
```
> 启动成功后，浏览器打开 http://localhost:7860/ 即可访问项目主页。
## TODO：
- [ ] 支持进度查看
- [ ] 支持多文件上传，批处理
