https://github.com/caciniep/math-to-deep-learning
纯数学到深度学习：用应用数学串联数学知识与深度学习教程 — 同一个数学概念，从纸笔推导到GPU训练
https://github.com/caciniep/math-to-deep-learning
calculus deep-learning linear-algebra machine-learning math mathematics neural-network optimization pytorch tutorial
Last synced: about 13 hours ago
JSON representation
纯数学到深度学习：用应用数学串联数学知识与深度学习教程 — 同一个数学概念，从纸笔推导到GPU训练
- Host: GitHub
- URL: https://github.com/caciniep/math-to-deep-learning
- Owner: CacinieP
- Created: 2026-06-20T14:20:24.000Z (18 days ago)
- Default Branch: main
- Last Pushed: 2026-07-07T14:24:41.000Z (1 day ago)
- Last Synced: 2026-07-07T15:23:44.577Z (1 day ago)
- Topics: calculus, deep-learning, linear-algebra, machine-learning, math, mathematics, neural-network, optimization, pytorch, tutorial
- Size: 196 KB
- Stars: 0
- Watchers: 0
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- Changelog: CHANGELOG.md
- Contributing: CONTRIBUTING.md
Awesome Lists containing this project
README
# 纯数学到深度学习：用应用数学串联数学知识与深度学习教程
> 同一个数学概念，从纸笔推导（Mathematics-Universe）到 GPU 训练（PyTorch），是一条连续的理解线。
---
### 🪐 姊妹仓库：[CacinieP/Mathematics-Universe](https://github.com/CacinieP/Mathematics-Universe)
本仓库的所有内容都以 **纯数学母仓库** 为地基。两个仓库配套使用，形成完整的「数学 → 深度学习」学习闭环：
| 仓库 | 定位 | 回答的问题 |
|------|------|-----------|
| 🪐 **[Mathematics-Universe](https://github.com/CacinieP/Mathematics-Universe)** | 纯数学纵向知识图谱（高中→考研→超纲） | "定理怎么证？概念怎么定义？" |
| 📡 **math-to-deep-learning**（本仓库） | 数学在 ML 中的应用棱镜 | "这个概念怎么变成模型的一层？代码怎么写？" |
> 📌 本仓库文章中的 `[[Mathematics-Universe/03-高等数学/...]]` 形式链接，均指向母仓库的详细推导。**建议同时 Star 两个仓库，对照阅读。**
---
### 📊 仓库状态
**最新更新（[2026-07-07] 全量补全）**：完成度从 19% → 100%，README 规划的 PART-01 至 PART-05 + APPENDIX 全部填满。详见 [CHANGELOG](./CHANGELOG.md)。
---
## 设计理念
本仓库是 [CacinieP/Mathematics-Universe](https://github.com/CacinieP/Mathematics-Universe) 的**应用侧延伸**。纯数学仓库回答"它是什么、为什么成立"，本仓库回答"它怎么用、代码怎么写"。
### 三层叙事结构
每篇文章遵循统一的叙事节奏：
```
纯数学层（"它是什么"）
→ 引用 Mathematics-Universe 的详细推导
应用映射层（"它在ML中变成什么"）
→ 图示 + 类比 + 直觉
工程实现层（"代码怎么写"）
→ Python/PyTorch 最小可运行示例
```
## 目录结构
### PART-01：数学基础回顾（机器学习视角）
对纯数学仓库的每章内容做"ML裁剪版"——只保留深度学习需要的那部分，去除纯数学中不需要的证明细节。
| 编号 | 内容 | 对应纯数学仓库 |
|------|------|---------------|
| 01 | [线性代数（机器学习视角）](./PART-01-数学基础回顾/01-线性代数（机器学习视角）/) | 04-线性代数 |
| 02 | [概率论与统计（机器学习视角）](./PART-01-数学基础回顾/02-概率论与统计（机器学习视角）/) | 05-概率论与数理统计 |
| 03 | [微积分与优化（机器学习视角）](./PART-01-数学基础回顾/03-微积分与优化（机器学习视角）/) | 03-高等数学 |
| 04 | [信息论（机器学习视角）](./PART-01-数学基础回顾/04-信息论（机器学习视角）/) | 06-超纲拓展 |
| 05 | [函数空间与逼近论（机器学习视角）](./PART-01-数学基础回顾/05-函数空间与逼近论（机器学习视角）/) | 03+06 跨章节 |
### PART-02：深度学习核心
从零构建深度学习的数学骨架，每节都明确标注其背后的纯数学来源。
| 编号 | 内容 | 核心数学 |
|------|------|----------|
| 01 | [神经网络基础](./PART-02-深度学习核心/01-神经网络基础/) | 函数复合、线性映射 |
| 02 | [反向传播](./PART-02-深度学习核心/02-反向传播/) | 链式法则（高数）→ Jacobi矩阵（线代） |
| 03 | [优化算法](./PART-02-深度学习核心/03-优化算法/) | 梯度下降、凸优化、Taylor展开 |
| 04 | [正则化](./PART-02-深度学习核心/04-正则化/) | 偏差-方差分解、Sobolev空间 |
| 05 | [损失函数](./PART-02-深度学习核心/05-损失函数/) | 概率分布、KL散度、信息论 |
### PART-03：专题映射（五条轴线）
**核心部分**——按"纯数学概念 → 深度学习应用"的轴线组织，每条轴线是一条从理论到实践的完整理解链。
| 轴线 | 主题 | 纯数学核心 | 深度学习终点 |
|------|------|-----------|-------------|
| **A** | [矩阵分解](./PART-03-专题映射/轴线A-矩阵分解/) | 特征值/SVD/QR/Cholesky | PCA → 自编码器 → Neural ODE |
| **B** | [概率模型](./PART-03-专题映射/轴线B-概率模型/) | Bayes/MLE/正态/变分推断 | 贝叶斯网络 → VAE → 扩散模型 |
| **C** | [优化理论](./PART-03-专题映射/轴线C-优化理论/) | 梯度/凸优化/Taylor/Lagrange | 反向传播 → Adam → 约束优化 |
| **D** | [函数逼近](./PART-03-专题映射/轴线D-函数逼近/) | Weierstrass/Fourier/正交基 | 通用近似定理 → 注意力 → 残差 |
| **E** | [信息论](./PART-03-专题映射/轴线E-信息论/) | 熵/KL散度/互信息 | 交叉熵 → 信息瓶颈 → RLHF |
### PART-04：从理论到工程
数学理论落地时的工程问题——为什么"理论上成立"的东西在GPU上会崩。
| 编号 | 内容 | 涉及的数学 |
|------|------|-----------|
| 01 | [数值稳定性](./PART-04-从理论到工程/01-数值稳定性/) | 浮点误差、条件数 |
| 02 | [梯度消失/爆炸的数学根源](./PART-04-从理论到工程/02-梯度消失爆炸的数学根源/) | 矩阵乘积范数、谱半径 |
| 03 | [BatchNorm的统计视角](./PART-04-从理论到工程/03-BatchNorm的统计视角/) | 协方差、白化、分布对齐 |
| 04 | [注意力机制的线性代数本质](./PART-04-从理论到工程/04-注意力机制的线性代数本质/) | Softmax=概率归一化、QKV=基变换 |
| 05 | [Transformer的谱分析](./PART-04-从理论到工程/05-Transformer的谱分析/) | 注意力矩阵的特征值、SVD |
### PART-05：前沿中的数学
最新模型背后的数学前沿——持续更新。
| 编号 | 内容 | 数学前沿 |
|------|------|---------|
| 01 | [Diffusion模型的随机微分方程](./PART-05-前沿中的数学/01-Diffusion模型的SDE视角/) | SDE、Ornstein-Uhlenbeck过程 |
| 02 | [流模型与微分同胚](./PART-05-前沿中的数学/02-流模型与微分同胚/) | 微分几何、Jacobian行列式 |
| 03 | [图神经网络的谱图理论](./PART-05-前沿中的数学/03-图神经网络的谱图理论/) | 图Laplacian、谱聚类 |
| 04 | [大语言模型的缩放定律](./PART-05-前沿中的数学/04-大语言模型的缩放定律/) | 幂律、相变、临界现象 |
| 05 | [RLHF的博弈论视角](./PART-05-前沿中的数学/05-RLHF的博弈论视角/) | 纳什均衡、潜在博弈 |
### APPENDIX：工具箱
- [公式速查](./APPENDIX-工具箱/公式速查.md) — 深度学习中最常用的数学公式速查表
- [代码实现映射](./APPENDIX-工具箱/代码实现映射.md) — 数学概念 → PyTorch API 对照表
- [常见陷阱与反例](./APPENDIX-工具箱/常见陷阱与反例.md) — 数学直觉在ML中失效的场景
## 如何阅读
### 如果你是深度学习初学者
```
PART-01（选你薄弱的那章）→ PART-02（01-05按顺序）→ PART-03 轴线A
```
### 如果你有ML基础，想深入理解"为什么"
```
直接进 PART-03，选你最感兴趣的一条轴线，顺着读到底
```
### 如果你要攻克具体难题
```
PART-04（梯度消失、数值稳定性等工程问题）→ PART-05（前沿模型）
```
### 如果你在备考或复习数学
```
Mathematics-Universe（纯数学）→ PART-01（ML视角裁剪版）→ PART-03（轴线映射）
```
## 与 Mathematics-Universe 的关系
| 仓库 | 定位 | 回答的问题 |
|------|------|-----------|
| [Mathematics-Universe](https://github.com/CacinieP/Mathematics-Universe) | 纯数学纵向知识图谱 | "定理怎么证？概念怎么定义？" |
| **math-to-deep-learning** | 数学在ML中的应用棱镜 | "这个概念怎么变成模型的一层？代码怎么写？" |
两个仓库通过双向链接互联：本文中的 `[[Mathematics-Universe/03-高等数学/...]]` 指向纯数学仓库的详细推导。
## 难度标注
- `[基础]` — 需要高中数学 + 一点编程经验
- `[标准]` — 需要大学数学 + ML入门（能写MNIST分类器）
- `[进阶]` — 需要扎实的数学 + 中等ML经验
- `[前沿]` — 需要数学 + ML + 追踪论文的能力
## 贡献
见 [CONTRIBUTING.md](./CONTRIBUTING.md)
## 许可证
CC-BY-SA-4.0 — 与 Mathematics-Universe 一致