https://github.com/PaddlePaddle/Paddle3D

A 3D computer vision development toolkit based on PaddlePaddle. It supports point-cloud object detection, segmentation, and monocular 3D object detection models.
https://github.com/PaddlePaddle/Paddle3D

3d apollo autodrive bev caddn centerpoint hrnet kitti-dataset nuscenes point-cloud pointpillars smoke squeezeseg three-dimension-vision waymo-open-dataset

Last synced: 3 months ago
JSON representation

A 3D computer vision development toolkit based on PaddlePaddle. It supports point-cloud object detection, segmentation, and monocular 3D object detection models.

• Host: GitHub
• URL: https://github.com/PaddlePaddle/Paddle3D
• Owner: PaddlePaddle
• License: apache-2.0
• Created: 2022-07-14T08:05:28.000Z (over 2 years ago)
• Default Branch: develop
• Last Pushed: 2024-08-07T02:29:18.000Z (6 months ago)
• Last Synced: 2024-10-07T08:46:11.337Z (4 months ago)
• Topics: 3d, apollo, autodrive, bev, caddn, centerpoint, hrnet, kitti-dataset, nuscenes, point-cloud, pointpillars, smoke, squeezeseg, three-dimension-vision, waymo-open-dataset
• Language: Python
• Homepage:
• Size: 1.21 MB
• Stars: 565
• Watchers: 18
• Forks: 141
• Open Issues: 93
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# Paddle3D

## 🌈简介

Paddle3D是飞桨官方开源的端到端深度学习3D感知套件，涵盖了许多前沿和经典的3D感知模型，支持多种模态和多种任务，可以助力开发者便捷地完成 **『自动驾驶』** 领域模型 从训练到部署的全流程应用。





  









  





## ✨主要特性

### 🧩灵活的框架设计

针对各类3D数据格式，灵活构建数据处理、骨干网络等核心模块，支持基于[PaddleDetection](https://github.com/PaddlePaddle/PaddleDetection)、[PaddleSeg](https://github.com/PaddlePaddle/PaddleSeg)灵活扩展2D视觉感知能力，并提供API与脚本两种训练评估方式，满足开发者灵活定制的差异化需求。

### 📱丰富的模型库

聚合主流3D感知算法及精度调优策略，覆盖单目、点云等多种模态及检测、分割等多种任务类型。

### 🎗️端到端全流程

支持KITTI、nuScenes、Waymo等主流3D数据集，提供从数据处理、模型搭建、训练调优到部署落地的全流程能力，极致优化模型性能，适配多种自动驾驶主流芯片，支持计算图优化、TensorRT/OpenVINO等加速库，并提供了开箱即用的部署教程，5分钟即可完成模型部署。

### 🏆无缝衔接Apollo

无缝对接Apollo自动驾驶平台，支持真机与仿真平台实验效果快速验证、多模态模型高性能融合，实现自动驾驶全栈式技术方案的高效搭建。





  





## 📣最新进展

**🏅️飞桨AI套件**

飞桨AI套件 [PaddleX](https://www.paddlepaddle.org.cn/paddle/paddleX) 发布全新版本，围绕飞桨精选模型（包括3D检测）提供了一站式、全流程、高效率的开发平台。

**💎稳定版本**

位于[`主分支`](https://github.com/PaddlePaddle/Paddle3D)，Paddle3D v1.0正式版本发布，详情请参考[release note](https://github.com/PaddlePaddle/Paddle3D/releases/tag/v1.0)。

**🧬预览版本**

位于[`develop`](https://github.com/PaddlePaddle/Paddle3D/tree/develop)分支，体验最新功能请切换到[该分支](https://github.com/PaddlePaddle/Paddle3D/tree/develop)。

## 👫开源社区

- **📑项目合作：** 如果您是企业开发者且有明确的目标检测垂类应用需求，请扫描如下二维码入群，并联系`群管理员AI`后可免费与官方团队展开不同层次的合作。

- **🏅️社区贡献：** Paddle3D非常欢迎你加入到飞桨社区的开源建设中，参与贡献方式可以参考[开源项目开发指南](https://www.paddlepaddle.org.cn/documentation/docs/zh/dev_guides/index_cn.html)。

- **💻直播教程：** Paddle3D会定期在飞桨直播间([B站:飞桨PaddlePaddle](https://space.bilibili.com/476867757)、[微信: 飞桨PaddlePaddle](https://mp.weixin.qq.com/s/6ji89VKqoXDY6SSGkxS8NQ))，针对发新内容、以及产业范例、使用教程等进行直播分享。





Paddle3D官方技术交流群二维码



- **🎈社区近期活动**

  - **🎗️Paddle3D v1.0正式版解读**

    - `文章传送门`：[Paddle3D正式版发布！BEV、单目、激光雷达3D感知算法开箱即用，无缝衔接Apollo](https://mp.weixin.qq.com/s/LL0DgKxEVsfhpFO6HedQ7Q)

    


    

    


    


  - **🚦自动驾驶感知系统揭秘**

    - `课程录播&PPT传送门`：[自动驾驶感知系统揭秘](https://aistudio.baidu.com/aistudio/education/group/info/26961)

    


    

    


    


- **📑 PaddleX**

  * 飞桨低代码开发工具（PaddleX）—— 面向国内外主流AI硬件的飞桨精选模型一站式开发工具。包含如下核心优势：

    * 【产业高精度模型库】：覆盖10个主流AI任务 40+精选模型，丰富齐全。

    * 【特色模型产线】：提供融合大小模型的特色模型产线，精度更高，效果更好。

    * 【低代码开发模式】：图形化界面支持统一开发范式，便捷高效。

    * 【私有化部署多硬件支持】：适配国内外主流AI硬件，支持本地纯离线使用，满足企业安全保密需要。

  * PaddleX官网地址：https://aistudio.baidu.com/intro/paddlex

  * PaddleX官方交流频道：https://aistudio.baidu.com/community/channel/610

### 📱模型库

  

    

      

        单目3D感知

      

      

        激光雷达3D感知

      

      

        多相机3D感知

      

      

        骨干网络

      

    

    

      

            

          
检测

        


      


          
CaDDN

          
SMOKE

          
DD3D

      

      

      

      

          
检测

        


        


           
PointPillars

            
CenterPoint

            
IA-SSD

            
PV-RCNN

            
Voxel-RCNN

            
PAConv

            

            

          
分割

        


        


            
SqueezeSegV3

        

      

      

        

          
BEV-Camera

        


        


          
PETR

          
PETRv2

          
BEVFormer

          
CAPE

        

        

          
BEV-Fusion

        


        


          
BEVFusion(ADLab)

        

      

      

        


            
DLA

            
HRNet

            
ResNet

            
Transformer

        

      

    


    

  

## 🔥使用教程

* [安装](./docs/installation.md)

* [全流程速览](./docs/quickstart.md)

* [自定义数据准备](./docs/datasets/custom.md)

* [配置文件详解](./docs/configuration.md)

* [API](./docs/api.md)

* Paddle3D&Apollo集成开发示例

  * [视觉感知算法集成开发示例](https://apollo.baidu.com/community/Apollo-Homepage-Document/Apollo_Doc_CN_8_0/camera)

  * [点云感知算法集成开发示例](https://apollo.baidu.com/community/Apollo-Homepage-Document/Apollo_Doc_CN_8_0/lidar)

* [常见问题](./docs/faq.md)

* [更新日志](./docs/release_note.md)

## 💡产业实践范例

产业实践范例是Paddle3D针对3D目标检测应用场景，提供的端到端开发示例，帮助开发者打通数据标注-模型训练-模型调优-预测部署全流程。

针对每个范例我们都通过[AI-Studio](https://ai.baidu.com/ai-doc/AISTUDIO/Tk39ty6ho)提供了项目代码以及说明，用户可以同步运行体验。

- [【自动驾驶实战】基于Paddle3D&Apollo的点云3D目标物检测](https://aistudio.baidu.com/aistudio/projectdetail/5268894)

- [【自动驾驶实战】基于Paddle3D&Apollo的单目3D目标物检测](https://aistudio.baidu.com/aistudio/projectdetail/5269115)

## 📝许可证

本项目的发布受[Apache 2.0 license](./LICENSE)许可认证。