Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/paddlepaddle/x2paddle
Deep learning model converter for PaddlePaddle. (『飞桨』深度学习模型转换工具)
https://github.com/paddlepaddle/x2paddle
caffe model-converter onnx paddlepaddle pytorch tensorflow x2paddle-model-zoo
Last synced: 7 days ago
JSON representation
Deep learning model converter for PaddlePaddle. (『飞桨』深度学习模型转换工具)
- Host: GitHub
- URL: https://github.com/paddlepaddle/x2paddle
- Owner: PaddlePaddle
- License: apache-2.0
- Created: 2019-01-09T05:46:03.000Z (almost 6 years ago)
- Default Branch: develop
- Last Pushed: 2024-10-31T02:12:07.000Z (13 days ago)
- Last Synced: 2024-10-31T03:18:37.769Z (13 days ago)
- Topics: caffe, model-converter, onnx, paddlepaddle, pytorch, tensorflow, x2paddle-model-zoo
- Language: Python
- Homepage: http://www.paddlepaddle.org/
- Size: 27.9 MB
- Stars: 732
- Watchers: 25
- Forks: 164
- Open Issues: 294
-
Metadata Files:
- Readme: README.md
- License: LICENSE
- Authors: AUTHORS.md
Awesome Lists containing this project
README
# X2Paddle
[](https://pypi.org/project/x2paddle/)
[](https://pepy.tech/project/x2paddle)
[](LICENSE)
[](https://github.com/PaddlePaddle/X2Paddle/releases)
## 简介
X2Paddle是飞桨生态下的模型转换工具，致力于帮助其它深度学习框架用户快速迁移至飞桨框架。目前支持**推理模型的框架转换**与**PyTorch训练代码迁移**，我们还提供了详细的不同框架间API对比文档，降低开发者将模型迁移到飞桨的时间成本。
## 特性
- **支持主流深度学习框架**
- 目前已经支持Caffe/TensorFlow/ONNX/PyTorch四大框架的预测模型的转换，PyTorch训练项目的转换，涵盖了目前市面主流深度学习框架，详见 ***[测试 demo ](./test_benchmark)***
- **支持的模型丰富**
- 在主流的CV和NLP模型上支持大部分模型转换，目前X2Paddle支持130+ PyTorch OP，90+ ONNX OP，90+ TensorFlow OP 以及 30+ Caffe OP，详见 ***[支持列表](./docs/inference_model_convertor/op_list.md)***
- **简洁易用**
- 一条命令行或者一个API即可完成模型转换
## 能力
- **预测模型转换**
- 支持Caffe/TensorFlow/ONNX/PyTorch的模型一键转为飞桨的预测模型，并使用PaddleInference/PaddleLite进行CPU/GPU/Arm等设备的部署
- **PyTorch训练项目转换**
- 支持PyTorch项目Python代码（包括训练、预测）一键转为基于飞桨框架的项目代码，帮助开发者快速迁移项目，并可享受[AIStudio平台](https://aistudio.baidu.com/)对于飞桨框架提供的海量免费计算资源[**【新功能，试一下！】**](/docs/pytorch_project_convertor/README.md)
- **API对应文档**
- 详细的API文档对比分析，帮助开发者快速从PyTorch框架的使用迁移至飞桨框架的使用，大大降低学习成本 [**【新内容，了解一下！】**](docs/pytorch_project_convertor/API_docs/README.md)
## 安装
### 环境依赖
- python >= 3.5
- paddlepaddle >= 2.2.2 (官方验证到2.4.2)
- tensorflow == 1.14 (如需转换TensorFlow模型)
- onnx >= 1.6.0 (如需转换ONNX模型)
- torch >= 1.5.0 (如需转换PyTorch模型)
- paddlelite >= 2.9.0 (如需一键转换成Paddle-Lite支持格式,推荐最新版本)
### pip安装(推荐）
如需使用稳定版本，可通过pip方式安装X2Paddle：
```
pip install x2paddle
```
### 源码安装
如需体验最新功能，可使用源码安装方式：
```
git clone https://github.com/PaddlePaddle/X2Paddle.git
cd X2Paddle
git checkout develop
python setup.py install
```
## 快速开始
### 功能一：推理模型转换
#### PyTorch模型转换
``` python
from x2paddle.convert import pytorch2paddle
pytorch2paddle(module=torch_module,
save_dir="./pd_model",
jit_type="trace",
input_examples=[torch_input])
# module (torch.nn.Module): PyTorch的Module。
# save_dir (str): 转换后模型的保存路径。
# jit_type (str): 转换方式。默认为"trace"。
# input_examples (list[torch.tensor]): torch.nn.Module的输入示例，list的长度必须与输入的长度一致。默认为None。
```
```script```模式以及更多细节可参考[PyTorch模型转换文档](./docs/inference_model_convertor/pytorch2paddle.md)。
#### TensorFlow模型转换
```shell
x2paddle --framework=tensorflow --model=tf_model.pb --save_dir=pd_model
```
#### ONNX模型转换
```shell
x2paddle --framework=onnx --model=onnx_model.onnx --save_dir=pd_model
```
#### Caffe模型转换
```shell
x2paddle --framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel --save_dir=pd_model
```
#### 转换参数说明
| 参数 | 作用 |
| -------------------- | ------------------------------------------------------------ |
| --framework | 源模型类型 (tensorflow、caffe、onnx) |
| --prototxt | 当framework为caffe时，该参数指定caffe模型的proto文件路径 |
| --weight | 当framework为caffe时，该参数指定caffe模型的参数文件路径 |
| --save_dir | 指定转换后的模型保存目录路径 |
| --model | 当framework为tensorflow/onnx时，该参数指定tensorflow的pb模型文件或onnx模型路径 |
| --input_shape_dict | **[可选]** For ONNX, 定义ONNX模型输入大小 |
| --caffe_proto | **[可选]** 由caffe.proto编译成caffe_pb2.py文件的存放路径，当存在自定义Layer时使用，默认为None |
| --define_input_shape | **[可选]** For TensorFlow, 当指定该参数时，强制用户输入每个Placeholder的shape，见[文档Q2](./docs/inference_model_convertor/FAQ.md) |
| --enable_code_optim | **[可选]** For PyTorch, 是否对生成代码进行优化，默认为False |
| --to_lite | **[可选]** 是否使用opt工具转成Paddle-Lite支持格式，默认为False |
| --lite_valid_places | **[可选]** 指定转换类型，可以同时指定多个backend(以逗号分隔)，opt将会自动选择最佳方式，默认为arm |
| --lite_model_type | **[可选]** 指定模型转化类型，目前支持两种类型：protobuf和naive_buffer，默认为naive_buffer |
| --disable_feedback | **[可选]** 是否关闭X2Paddle使用反馈；X2Paddle默认会统计用户在进行模型转换时的成功率，以及转换框架来源等信息，以便于帮忙X2Paddle根据用户需求进行迭代，不会上传用户的模型文件。如若不想参与反馈，可指定此参数为False即可 |
#### X2Paddle API
目前X2Paddle提供API方式转换模型，可参考[X2PaddleAPI](docs/inference_model_convertor/x2paddle_api.md)
#### 一键转换Paddle-Lite支持格式
可参考[使用X2paddle导出Paddle-Lite支持格式](docs/inference_model_convertor/convert2lite_api.md)
### 功能二：PyTorch模型训练迁移
项目转换包括3个步骤
1. 项目代码预处理
2. 代码/预训练模型一键转换
3. 转换后代码后处理
详见[PyTorch训练项目转换文档](./docs/pytorch_project_convertor/README.md)。
### 使用VisualDL进行模型转换
飞桨可视化工具VisualDL已经将模型转换工具部署在官网提供服务，可以点击[服务链接](https://www.paddlepaddle.org.cn/paddle/visualdl/modelconverter/)进行在线的ONNX2Paddle模型转换。
## 使用教程
1. [TensorFlow预测模型转换教程](./docs/inference_model_convertor/demo/tensorflow2paddle.ipynb)
2. [MMDetection模型转换指南](./docs/inference_model_convertor/toolkits/MMDetection2paddle.md)
3. [PyTorch预测模型转换教程](./docs/inference_model_convertor/demo/pytorch2paddle.ipynb)
4. [PyTorch训练项目转换教程](./docs/pytorch_project_convertor/demo/README.md)
## :hugs:贡献代码:hugs:
我们非常欢迎您为X2Paddle贡献代码或者提供使用建议:
- 如果您可以修复某个issue或者增加一个新功能，欢迎给我们提交Pull Requests
- 可以使用[开发镜像](./docker)：[paddlepaddle/x2paddle:latest-dev-cuda11.2-cudnn8-gcc82](https://hub.docker.com/r/paddlepaddle/x2paddle/tags)，国内镜像下载地址：https://x2paddle.bj.bcebos.com/Docker/latest-dev-cuda11.2-cudnn8-gcc82.tar
- 如果有PyTorch训练项目转换需求欢迎随时提issue