{"id":16562819,"url":"https://github.com/charmve/autopilot-perception","last_synced_at":"2026-03-07T07:31:57.077Z","repository":{"id":106309565,"uuid":"570733060","full_name":"Charmve/autopilot-perception","owner":"Charmve","description":"End to End Autopilot Perception Playbook","archived":false,"fork":false,"pushed_at":"2023-03-01T04:28:29.000Z","size":106,"stargazers_count":48,"open_issues_count":0,"forks_count":11,"subscribers_count":2,"default_branch":"main","last_synced_at":"2024-04-15T09:05:22.546Z","etag":null,"topics":["autonomous-driving","autonomous-vehicles","classification","computer-vision","data-driven","deep-learning","machine-learning","perception"],"latest_commit_sha":null,"homepage":"https://charmve.github.io/autopilot-perception","language":"HTML","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"gpl-3.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Charmve.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null}},"created_at":"2022-11-26T00:34:11.000Z","updated_at":"2024-04-12T10:57:38.000Z","dependencies_parsed_at":"2023-06-28T09:57:26.555Z","dependency_job_id":null,"html_url":"https://github.com/Charmve/autopilot-perception","commit_stats":{"total_commits":9,"total_committers":1,"mean_commits":9.0,"dds":0.0,"last_synced_commit":"3d8c522242667e456db955210a6ab15f0abb8a5a"},"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Charmve%2Fautopilot-perception","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Charmve%2Fautopilot-perception/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Charmve%2Fautopilot-perception/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Charmve%2Fautopilot-perception/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Charmve","download_url":"https://codeload.github.com/Charmve/autopilot-perception/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":241975135,"owners_count":20051428,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["autonomous-driving","autonomous-vehicles","classification","computer-vision","data-driven","deep-learning","machine-learning","perception"],"created_at":"2024-10-11T20:37:18.578Z","updated_at":"2026-03-07T07:31:57.038Z","avatar_url":"https://github.com/Charmve.png","language":"HTML","funding_links":[],"categories":[],"sub_categories":[],"readme":"## Waking-Up\n\n\u003e 大多数人都高估了他们一天能做的事情，但低估了他们一年能做的事情。\n\n\n## 导言\n\u003e 自动驾驶太火？高薪？跃跃欲试，又仅存于想的阶段。动起来，只是看理论，却总也学不会？看不懂，又总没有进度？如果你也有这类问题，那你来看看这个专栏。以实际项目为导向，亲自动手实践，从简单的图像分类、目标检测开始，逐渐学习掌握实例分割、目标检测、车道线检测等进阶技能。学习有回馈、有成就感，你才能继续下去。转行？你就得看看这个。\n\n**基本思路：自动驾驶感知模块的生产流水线，输入+输出**\n\n\u003cbr\u003e\n\n- 本地阅读：`docsify serve .`\n- 在线阅读：`https://charmve.github.io/autopilot-perception`\n\n# 课程大纲\n\n## 零、感知系统整体概述 （5%）\n（框图）\n\n1. 在自动驾驶系统中的位置，上下游\n2. 解决什么问题\n3. 实现方案\n\n[自动驾驶感知算法实战——感知系统整体概述](./docs/01-感知系统整体概述.md)\n\n## 一、输入：相机+雷达 （10%）\n1. 相机\n1.1 相机的成像原理\n1.2 数字图像处理：去畸变、resize、颜色变换、转柱面、透视变换等（原理及源代码实现）\n1.3 实现方案及性能分析：opencv、nvmedia\n\n[自动驾驶感知算法实战1——车载相机及图像处理](./docs/02-车载相机及图像处理.md)\n\n2. 激光雷达\n2.1 雷达模块概述\n2.2 雷达感知原理\n2.3 雷达感知算法概述\n\n[自动驾驶感知算法实战2——激光雷达原理介绍](./docs/03-激光雷达原理介绍.md)\n\n## 二、感知系统任务/目标 （20%）\n[自动驾驶感知算法实战3——自动驾驶2D和3D视觉感知算法概述](./docs/04-自动驾驶2D和3D视觉感知算法概述.md)\n\n1. 语义分割：可通行区域检测、障碍物检测、异形物检测\n\n主要模型介绍分析：UNet、SegNet（原理及源代码实现）\n\n[自动驾驶感知算法实战4——语义分割网络详解（DeepLabV3、FCN、UNet等）](./docs/05-语义分割网络详解（DeepLabV3、FCN、UNet等）.md)\n\n2. 目标检测：行人检测、车辆检测、车道线检测、可通行区域检测、多目标跟踪\n\n主要模型介绍分析：Mask R-CNN、Inception v2（原理及源代码实现）\n\n[自动驾驶感知算法实战4——目标检测网络详解（R-CNN、FastR-CNN、YOLO、SSD等）](./docs/06-目标检测网络详解（R-CNN、FastR-CNN、YOLO、SSD等）.md)\n\n3. 目标分类：红绿灯识别、障碍物检测\n\n主要模型介绍分析：AlexNet、VGG、FCN（原理及源代码实现）\n\n[自动驾驶感知算法实战6——目标分类详解（ResNet、VGG、GoogLeNet等）](./docs/07-目标分类详解（ResNet、VGG、GoogLeNet等）.md)\n\n\n## 三、图像分类（机器学习方法） （15%）（原理及源代码实现）\n3.1 数据驱动方法\n- 3.1.1 语义上的差别\n- 3.1.2 图像分类任务面临着许多挑战\n- 3.1.3 数据驱动的方法\n\n[自动驾驶感知算法实战7——数据驱动方法](https://cs231n.github.io/classification/)\n\n3.2 k 最近邻算法\n- 3.2.1 k 近邻模型\n- 3.2.2 k 近邻模型三个基本要素\n- 3.2.3 KNN算法的决策过程\n- 3.2.4 k 近邻算法Python实现\n\n[自动驾驶感知算法实战8——k 最近邻算法](https://charmve.github.io/computer-vision-in-action/#/1_理论篇/chapter3_Image-Classification/chapter3.2_knn)\n\n3.3 支持向量机\n- 3.3.1 概述\n- 3.3.2 线性支持向量机\n- 3.3.3 从零开始实现支持向量机\n- 3.3.4 支持向量机的简洁实现\n\n[自动驾驶感知算法实战9——支持向量机](https://charmve.github.io/computer-vision-in-action/#/1_理论篇/chapter3_Image-Classification/chapter3.3_支持向量机)\n\n3.4 逻辑回归 LR\n- 3.4.1 逻辑回归模型\n- 3.4.2 从零开始实现逻辑回归\n- 3.4.3 逻辑回归的简洁实现\n\n[自动驾驶感知算法实战10——逻辑回归 LR](https://charmve.github.io/computer-vision-in-action/#/1_理论篇/chapter3_Image-Classification/chapter3.4_Logistic-Regression)\n\n## 四、多传感器融合感知方案详解 （20%）\n\n1. 感知方案：前融合、后融合、中融合\n\n- 1.1 lidar-基于激光雷达进行障碍物检测、分割、分类\n- 1.2 相机-红绿灯检测、障碍物检测和分类\n- 1.3 radar-基于毫米波传感器进行速度、姿态估计\n- 1.4 融合Fusion-前融合、后融合、中融合中两种及以上\n\n[自动驾驶感知算法实战11——多传感器融合感知方案详解](./docs/11-多传感器融合感知方案详解.md)\n\n2. BEV模型\n\nBEV 基于图像/Lidar/多模态数据的3D检测与分割任务\n\n- 2.1 坐标变换\n- 2.3 时间同步、时序任务\n- 2.4 精度选择\n- 2.5 性能分析\n\n[自动驾驶感知算法实战12——BEV 基于图像/Lidar/多模态数据的3D检测与分割任务](./docs/12-基于BEV多模态数据的3D检测与分割任务.md)\n\n3. 发展方向：多模态感知、多任务处理、大模型\n\n[自动驾驶感知算法实战13——自动驾驶感知未来发展方向分享](./docs/13-自动驾驶感知未来发展方向分享.md)\n\n## 五、感知算法模型生产线 （20%）\n（闭环框图）\n\n1. 数据选择（数据采集、数据增强）\n2. 数据标注\n3. 模型训练\n4. 模型量化\n5. 模型部署\n6. 测试与验证\n\n[自动驾驶感知算法实战14——感知算法模型生产线](./docs/14-感知算法模型生产线.md)\n\n## 六、纯视觉感知和雷达方案对比（5%）\n\n成本和效果两个角度，第一性原理\n\n1. 特斯拉方案\n2. 非特斯拉方案\n\n[自动驾驶感知算法实战15——纯视觉感知和多传感器融合方案对比](./docs/15-纯视觉感知和多传感器融合方案对比.md)\n\n## 七、总结：如何打造“高可靠、多冗余、可量化、数据驱动的感知系统”（5%）\n\n1. 高可靠：对障碍物、红绿灯的识别精度有保证\n2. 多冗余：各个模块相互支撑、非串行\n3. 可量化：PRT、仿真场景测试、Profiling\n4. 数据驱动（全流程闭环）\n\n[自动驾驶感知算法实战专栏总结：如何打造“高可靠、多冗余、可量化、数据驱动的感知系统”](./docs/16-专栏总结-如何打造“高可靠、多冗余、可量化、数据驱动的感知系统”.md)\n\n\n\u003cbr\u003e\n\n# 面向人群\n\n1. 自动驾驶行业研发相关从业人员；转行？你就得看看这个。\n2. 对自动驾驶系统感兴趣，尤其是感知模块，对自动驾驶有相关了解，有数理基础；\n3. 对机器人系统有相关实践经验，对感知算法有基本了解；\n4. 其他算法从业者，有数理基础；\n\n\u003cbr\u003e\n\n# 课后收益\n\n1. 对自动驾驶有更深的理解，尤其是视觉和雷达感知系统；\n2. 有较为全面的认识，对感知系统全算法链路有一定了解，能够自己动手开始一些感知系统中的子任务；\n3. 动手实现车道线检测、目标识别、可通行区域检测等算法，源代码实现；\n3. 对当前自动驾驶行业有更深的了解，抛砖引玉开展相关工作；\n4. 了解几种经典的感知算法模型，从实现原理到模型产出；\n\n# 知识星球\n\n前沿工作和技术及时解读，本项目中的相关内容的解答，涉及到的源代码分享。同行业的专精研小伙伴交流群，共享行业信息。\n\u003cdiv align=\"center\"\u003e\n  \u003cimg alt=\"知识星球：https://user-images.githubusercontent.com/29084184/204234701-729337a2-e2f8-42c2-a716-f7cb8ffdef2e.jpg\" src=\"https://user-images.githubusercontent.com/29084184/204234701-729337a2-e2f8-42c2-a716-f7cb8ffdef2e.jpg\" width=\"48%\"\u003e\n\u003c/dev\u003e\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fcharmve%2Fautopilot-perception","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fcharmve%2Fautopilot-perception","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fcharmve%2Fautopilot-perception/lists"}