Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/sanbuphy/awesome-cs-tutorial

计算机、人工智能学习网站、工具、技巧合集 | A collection of ComputerScience and DeepLearning tutorial and tools.
https://github.com/sanbuphy/awesome-cs-tutorial

List: awesome-cs-tutorial

ai computer-science deep-learning llm tutorial

Last synced: 10 days ago
JSON representation

计算机、人工智能学习网站、工具、技巧合集 | A collection of ComputerScience and DeepLearning tutorial and tools.

Host: GitHub
URL: https://github.com/sanbuphy/awesome-cs-tutorial
Owner: sanbuphy
Created: 2022-08-13T04:13:39.000Z (over 2 years ago)
Default Branch: main
Last Pushed: 2024-09-01T04:10:20.000Z (4 months ago)
Last Synced: 2024-12-18T21:02:27.310Z (24 days ago)
Topics: ai, computer-science, deep-learning, llm, tutorial
Homepage: https://sanbuphy.github.io/p/%E6%88%91%E7%9A%84%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%AD%A6%E4%B9%A0%E7%BD%91%E7%AB%99%E9%9B%86%E5%90%88/
Size: 848 KB
Stars: 323
Watchers: 5
Forks: 41
Open Issues: 0
Metadata Files:
- Readme: README.md

Awesome Lists containing this project

awesome-cs-tutorial - https://github.com/sanbuphy/my-awesome-cs
ultimate-awesome - awesome-cs-tutorial - 计算机、人工智能学习网站、工具、技巧合集 | A collection of ComputerScience and DeepLearning tutorial and tools. . (Other Lists / Monkey C Lists)

README

## 写在前面

If any English-speaking friends see my GitHub repository, some of the resources here might be helpful to you too! You can use translation software to read it.

Here, I have curated a collection of websites and small tools that I find to be of good taste, covering but not limited to the following areas:

- Mathematics learning
- Basic computer science learning (operating systems, etc.)
- Basic computer operations (Windows system, Linux system, Docker)
- Basic deep learning study materials and practical resources
- Deep learning system study materials
- Basic language learning (Python, C++)
- Interesting open-source projects and tools (can replace common workflows)

Updated periodically, enjoy your time here! 🕶

With a sidebar directory (viewable on desktop):

[https://www.aispacewalk.cn/docs/other/awesomeweb](https://www.aispacewalk.cn/docs/other/awesomeweb)

GitHub open-source repository: [https://github.com/sanbuphy/my-awesome-cs](https://github.com/sanbuphy/my-awesome-cs)

收录了品味好的网站和小工具，涵盖不限于以下几个领域：

- 数学学习
- 计算机基础学习（操作系统等）
- 计算机操作基础（windows系统、linux系统、docker）
- 深度学习基础学习资料及实践资料
- 深度学习系统学习资料
- 语言基础学习（python、c++）
- 有趣的开源项目和工具（可替换常见工作流）

不定期更新

带目录边栏（电脑上可看）：[https://www.aispacewalk.cn/docs/other/awesomeweb](https://www.aispacewalk.cn/docs/other/awesomeweb)

github开源仓库地址： [https://github.com/sanbuphy/my-awesome-cs](https://github.com/sanbuphy/my-awesome-cs)

Feel free to discuss with me in the github issue!

**基础素质要求（NJU-PA **[https://nju-projectn.github.io/ics-pa-gitbook/ics2024/](https://nju-projectn.github.io/ics-pa-gitbook/ics2024/) **）**

提问的艺术

[https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md](https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md)

不像弱智一样提问

[https://github.com/tangx/Stop-Ask-Questions-The-Stupid-Ways/blob/master/README.md](https://github.com/tangx/Stop-Ask-Questions-The-Stupid-Ways/blob/master/README.md)

不要再偷懒了——蒋炎岩老师（nju jyy）

**部分内容出自以下参考网站，也欢迎关注他们**

PPRP：

[https://www.cnblogs.com/pprp/p/8880493.html](https://www.cnblogs.com/pprp/p/8880493.html)

**如需转载请注释原出处即可，谢谢**

## 数学

机器学习相关数学基础

[直观理解机器学习的数学过程](https://www.bilibili.com/video/BV1iW411T781?p=34&share_medium=iphone&share_plat=ios&share_session_id=918760D9-B272-4504-8DD6-82E44AFA8672&share_source=WEIXIN&share_tag=s_i&timestamp=1641652920&unique_k=aGspGLd)

[李航统计学习基础第一章补数学基础](https://www.bilibili.com/video/BV1o5411p7H2?p=8&share_medium=iphone&share_plat=ios&share_session_id=3AD6E589-C577-4D7A-88C6-6A3FAB1E41F1&share_source=WEIXIN&share_tag=s_i&timestamp=1641653147&unique_k=abvhCWL) 只需要第一张补基础，其他有问题再找

[Deep Learning An MIT Press book](https://www.deeplearningbook.org/)参考第一章即可，[中文版在这](https://github.com/exacity/deeplearningbook-chinese/releases)或者直接下载附件中dlbook_cn_v0.5-beta。

### 概率论与数理统计

陈希孺概率论与数理统计基础 [参考课程视频地址](https://www.bilibili.com/video/BV12k4y1m78w)

【概率统计课程学习总结】1. 台大概率与台湾交通大学统计课 - 奶油煎蛋红烧肉的文章 - 知乎 [https://zhuanlan.zhihu.com/p/86071634](https://zhuanlan.zhihu.com/p/86071634)

[台湾大学 - 頑想學概率：機率一 (Probability (1))](https://www.bilibili.com/video/BV1nK4y1U7QM)

[台湾大学 - 頑想學概率：機率二 (Probability (2))](https://www.bilibili.com/video/BV1CX4y1V7oN?p=23)

[台湾交通大学 - 統計學 Statistics](https://ocw.nctu.edu.tw/course_detail-v.php?bgid=1&gid=1&nid=270)

[台湾交通大学 - 高等統計學 Advanced Statistics](https://ocw.nctu.edu.tw/course_detail-v.php?bgid=1&gid=4&nid=536)

### 线性代数

Linear Algebra for Everyone 图解

[https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra](https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra)

[矩阵求导入门](https://www.bilibili.com/video/BV1xk4y1B7RQ?p=1&share_medium=iphone&share_plat=ios&share_session_id=1F101D5C-2880-4C53-A556-3D2777F6AFC8&share_source=WEIXIN&share_tag=s_i&timestamp=1641653070&unique_k=GcJNM2u) 或者你也可以参考我整理的文章：

[https://sanbuphy.github.io/p/矩阵求导简易入门手册/](https://sanbuphy.github.io/p/矩阵求导简易入门手册/)

线代启示录（一位掌握了线代灵魂的老师）

[https://ccjou.wordpress.com/](https://ccjou.wordpress.com/)

immersive linear algebra 线性代数可视化

[http://immersivemath.com/ila/index.html](http://immersivemath.com/ila/index.html)

新MIT 线性代数 18.065 by Gilbert Strang

[https://www.bilibili.com/video/BV1a7411M7wH?p=1&vd_source=a6509cab8ccb8b81d6a70af693cc008f](https://www.bilibili.com/video/BV1a7411M7wH?p=1&vd_source=a6509cab8ccb8b81d6a70af693cc008f)

## CS大类

CS自学指南【必看】

[https://csdiy.wiki/](https://csdiy.wiki/)

【北美名校CS课程集锦】2.加州大学伯克利分校CS课程全集 - 文兄的文章 - 知乎 [https://zhuanlan.zhihu.com/p/102083014](https://zhuanlan.zhihu.com/p/102083014)

Quick Reference开发人员速查表（各种语言、脚本、常用工具的命令速查）

[https://quickref.me/](https://quickref.me/)

[https://xushanxiang.com/ref/](https://xushanxiang.com/ref/)

### 基本操作

#### GDB、VIM、GIT、Terminal艺术

- The Missing Semester of Your CS Education 中文版（强烈推荐）
- 官方中文站点：[https://missing-semester-cn.github.io/](https://missing-semester-cn.github.io/)
- B站：[https://www.bilibili.com/video/BV1x7411H7wa?t=2829](https://www.bilibili.com/video/BV1x7411H7wa?t=2829)
- 南大PA教程最下面的一些简单入门和材料

[https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html](https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html)

- 命令行的艺术（总结了各种命令行下相关好物）
- [https://github.com/jlevy/the-art-of-command-line](https://github.com/jlevy/the-art-of-command-line)
- 如何学习写shell脚本（封装）可参考的项目：

[https://github.com/sanbuphy/vimplus/blob/master/install.sh](https://github.com/sanbuphy/vimplus/blob/master/install.sh)

- shell和程序开头的字符画LOGO生成工具

[https://tools.kalvinbg.cn/txt/ascii](https://tools.kalvinbg.cn/txt/ascii)

#### 系统相关及系统信息相关

获取CPU的性能信息和常见信息，涵盖x86/arm等多硬件

[https://github.com/pytorch/cpuinfo](https://github.com/pytorch/cpuinfo)

如何开机自动挂载新硬盘（非ubuntu安装硬盘）

[https://blog.csdn.net/qq_27370437/article/details/117806294](https://blog.csdn.net/qq_27370437/article/details/117806294)

如何维护和切换gcc与g++代码（两种方案）

最简单的，通过设置不同优先级并切换即可：

```Bash
# https://www.cnblogs.com/haiyonghao/p/14440283.html
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.8 40
# 设置gcc-5的优先级
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
# 修改系统中的默认gcc版本
sudo update-alternatives --config gcc

#如果想要根据优先级切换gcc版本，可以输入这个后在输入前面设定的数字
sudo update-alternatives --config gcc

```

[https://blog.csdn.net/FX677588/article/details/78681325](https://blog.csdn.net/FX677588/article/details/78681325)

[https://cloud.tencent.com/developer/article/1430839](https://cloud.tencent.com/developer/article/1430839)

如何及时获取可视化的CPU频率和使用率信息：(Linux 查看CPU当前运行频率和温度)

sudo pip install s-tui

sudo s-tui

多线程并发解压缩文件

[https://zhuanlan.zhihu.com/p/389817246](https://zhuanlan.zhihu.com/p/389817246)

```Bash
pigz -k your_file_name # 压缩文件

tar -cvf - dir1 dir2 dir3 | pigz > output.tar.gz # 压缩文件夹

unpigz -d your_file_name.gz
```

#### git相关，git指南

- 通过聊天的感觉入门并熟练git

[https://wkevin.github.io/GitChat/gitchat.html#round-1-起步](https://wkevin.github.io/GitChat/gitchat.html#round-1-起步)

- git常见操作整理

[https://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html](https://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html)

- 简单的git ssh秘钥教程

[https://blog.csdn.net/helloasimo/article/details/123778112](https://blog.csdn.net/helloasimo/article/details/123778112)

- 添加了SSH密钥，git推送/拉取时要求验证

[https://blog.csdn.net/qq_37435462/article/details/122240506](https://blog.csdn.net/qq_37435462/article/details/122240506)

- 简单的pr教程

[https://mmcv.readthedocs.io/zh_CN/latest/community/pr.html](https://mmcv.readthedocs.io/zh_CN/latest/community/pr.html)

- github linux下的desktop版

[https://github.com/shiftkey/desktop/releases](https://github.com/shiftkey/desktop/releases)

- git的rebase的使用说明（可用于合并多次commit,修改commit等情况）

[https://www.jianshu.com/p/4a8f4af4e803](https://www.jianshu.com/p/4a8f4af4e803)

- git中文乱码问题解决

```Bash
git config --global i18n.commitencoding utf-8
git config --global i18n.logoutputencoding utf-8
export LESSCHARSET=utf-8
```
- git 删除历史记录大文件，减轻负担 [https://blog.csdn.net/baobaoxiannv/article/details/105586187](https://blog.csdn.net/baobaoxiannv/article/details/105586187)
- git如何结束一大堆的safe directory问题（少部分还可以自己一个个忽略，如果全都是就只能这样先把所有safe git 警告关闭 `git config --global --add safe.directory '*'`
- git-ssh: connect to host [github.com](http://github.com) port 22: Connection timed out
- 先看看ssh -T -p 443 [[email protected]](mailto:[email protected])能不能访问，可以的话就进行修改转发：

编辑 ~/.ssh/config 文件，如果没有config文件的话就直接 vim ~/.ssh/config加入以下内容（windows在C:\Users\你的用户名\.ssh 中）

```C++
Host github.com
HostName ssh.github.com #或者是Hostname
Port 443
```

再次测试 `ssh -T [email protected]`即可
- vscode免密登陆远程服务器，git免密
1. 确保已经有本地公钥私钥，如果没有就`ssh-keygen `生成
2. 默认拷贝本地公钥到目标服务器（如果有端口也-p加上端口）如果是windows可以在gitbash中操作即可或者用wsl的鉴权地址指定，随后 `ssh-copy-id user@remote-host`即可，如果你是windows强烈建议手动指定下：`C:\\Users\\你的用户名\\.ssh\\id_rsa.pub` linux下也可：`ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote-host`

，这步结束后，可以直接在终端ssh测试下能否直接连上，理论上可以直接。
3. vscode中加入配置即可：（修改下列配置成为你自己的配置），如果还需要密码就是IdentityFile 了

```Python
Host 名字
HostName ssh的名字
Port 端口
User username
IdentityFile "C:\Users\你的用户名\.ssh\id_rsa"
IdentityFile "~/.ssh/id_rsa"
```
- git 放宽安全策略（safe directory）`git config --global --add safe.directory '*'`
- server certificate verification failed. CAfile: none CRLfile: none 相关错误：`git config --global http.sslverify false`
- mirror加速： [https://mirror.ghproxy.com/](https://mirror.ghproxy.com/)
- github mirror大全[https://blog.csdn.net/liveon_/article/details/127933041](https://blog.csdn.net/liveon_/article/details/127933041)
- 调整一些规则（主要是代理规则），可以使用比如 `git config --global --edit`
- github 镜像加速，快速更换所有文件 `find . -type f -exec sed -i 's|https://github.com/|https://更换成镜像加速地址/|g' {} +`
- wsl 提示 NTA 网络问题无法 proxy：

```text
# 在 Windows 的 %UserProfile%\.wslconfig 文件中添加以下内容：
# Settings apply across all Linux distros running on WSL 2
[wsl2]
networkingMode=mirrored # 开启镜像网络
dnsTunneling=true # 开启 DNS Tunneling
firewall=true # 开启 Windows 防火墙
autoProxy=true # 开启自动同步代理
[experimental]
hostAddressLoopback=true
```

#### ubuntu常见疑难解答

- 快速下载ubuntu镜像: 找到官网下载链接后使用wget下载
- 简单安装双系统

1、安装windows（因为windows的boot优先级比较高）

2、安装ubuntu，他能检测到和windows并存的状态，选择那个安装即可
- 简单更换ubuntu镜像源
- Settings→About→Software Updates→Download from
- 选择其他服务器，然后找到中国，选择进行测试以便找到最快的站点。
- sudo apt-get update: 0% [正在等待报头]问题的解决（参考[https://article.itxueyuan.com/XP2rn](https://article.itxueyuan.com/XP2rn)）
- 先断网然后找到Settings→About→Software Updates关闭所有下载
- sudo apt-get clean
- 接下来将/etc/apt/source.list文件内容清空并保存
- 恢复网络，将第一步中取消掉的四个选项重新点选然后在最佳国内服务器更新即可。
- 给第三方软件appimage加上快捷方式：[https://www.cnblogs.com/HGNET/p/16396589.html](https://www.cnblogs.com/HGNET/p/16396589.html)
- ubuntu实体机快照：

[https://blog.csdn.net/wf19930209/article/details/104236358](https://blog.csdn.net/wf19930209/article/details/104236358)
- ubuntu循环依赖问题：

在安装某些东西的时候，你很可能会遇到循环依赖问题，这里慎重降级！！！！除非是必需品。操作不当很容易直接把服务/内核挂了，此时最好的办法是开个docker。（尤其是看到lib XXX的时候要小心）
- `ncdu` 工具分析磁盘空间占用情况（超好用，如果是wsl，运行`ncdu --exclude /mnt` // wsl下排除/mnt （当然，你也可以用 sudo du -d 1 -h | less 进一步分析）
- 如何打造Ubuntu Togo 利用虚拟机

[https://blog.csdn.net/afsafasfa/article/details/125782222](https://blog.csdn.net/afsafasfa/article/details/125782222)
- 改变ubuntu swap大小

[https://zhuanlan.zhihu.com/p/222512751](https://zhuanlan.zhihu.com/p/222512751)
- ubuntu陷入休眠怎么办如何关闭ubuntu自动休眠：

首先检查系统日志是不是陷入休眠了，或者直接看`systemctl status sleep.target`

如果loaded说明启动了挂起规则，此时只需要如此操作后重新查看状态至masked即可：

`sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target`
- 快速挂载一个新的盘：

```Bash
# 方法一（推荐）先分区然后创建文件系统
fdisk /dev/sdb
# 依次输入:n->p->1->回车->回车->w
fdisk -l # 查看到刚才分出来的新分区
mkfs.ext4 /dev/sdb1

# 方法二（不推荐）直接格式化创建文件系统
# 执行：lsblk 然后 sudo mkfs.ext4 /dev/sdb
sudo mkdir /mnt/mydisk
sudo mount /dev/sdb1 /mnt/mydisk

# 永久挂载：
#打开配置文件
vi /etc/fstab
#在配置文件最后输入
/dev/vdb1 /目标目录 ext4 defaults 0 0

```
- 已有文件系统在扩容硬盘，如何继续扩容

```Bash
# 没有分区，直接构建文件系统的情况
# 检查文件系统是否有错误，并准备扩展
sudo e2fsck -f /dev/sdb
# 使用 resize2fs 工具扩展文件系统：
sudo resize2fs /dev/sdb

# 已有分区，扩展该分区的文件系统
sudo apt-get install cloud-guest-utils
sudo growpart /dev/vdb 1
sudo resize2fs /dev/vdb1
sudo mount /dev/vdb1 /挂载点

```
- wget下载如何不需要 -O 强制重命名文件，加入参数 `--content-disposition` ，wget可下载多文件，直接顺序空格间距接下去url 即可，或者 -i xxx.txt
- /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.30' not found 类似问题：

```text
# 更新系统 gcc 比较麻烦可以用 conda 里面的，直接修改环境变量就可以让他被优先查找
conda install -c conda-forge gcc_linux-64=12.1.0 gxx_linux-64=12.1.0
export PATH=$CONDA_PREFIX/bin:$PATH
export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH
# 永久保存（不建议）
echo 'export PATH=$CONDA_PREFIX/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

```

#### WSL2常见疑难解答

【注！推荐使用挂载/mnt的系统磁盘进行操作，否则很容易让wsl的虚拟磁盘占用很大，删除后无法释放。若你想要释放则需要参考下面的指定教程】

- WSL入坑指南（很全的资料，包括开发环境的配置）

[https://dowww.spencerwoo.com/](https://dowww.spencerwoo.com/)

- windows上安装ubuntu(WSL2)：

1、在microsoft下载ubuntu 2、根据下列方式导出并导入镜像，防止占用C盘空间（默认安装在C盘）[http://t.zoukankan.com/davidchild-p-15606786.html](http://t.zoukankan.com/davidchild-p-15606786.html) （用这个方法还可以及时快照保存~

- WSL2常用命令（开启关闭甚至注销等等

[https://learn.microsoft.com/zh-cn/windows/wsl/basic-commands](https://learn.microsoft.com/zh-cn/windows/wsl/basic-commands)

- 安装WSL2专用systemctl【目前（2023/02/02）只能用于20.04,请勿在22.04中使用！】（慎重使用，可能会导致pycharm连接出现问题，请先快照后再进行尝试！

[https://github.com/DamionGans/ubuntu-wsl2-systemd-script](https://github.com/DamionGans/ubuntu-wsl2-systemd-script)

- WSL中如何使用proxy：（服务器版本的通用方法）
- 第一步下载：[https://github.com/v2fly/fhs-install-v2ray](https://github.com/v2fly/fhs-install-v2ray) 运行 install-release.sh，然后你可能会在里面发现在下载哪个zip要很久，可以直接wget下来解压即可
- 第二步启动：直接 run 即可，然后设置一个本地json。你可以后台运行，也可以在一个终端中运行起来，然后新开一个终端去export ALLproxy之类的就好，参考docker的做法，或者使用proxychains4也可以。）在终端中运行`/usr/local/bin/v2ray run -config /usr/local/etc/v2ray/config.json` 即可启动！
- 第三步使用：就当作一个已经监听了某个端口的proxy使用即可
- 注释：当然，为了方便你可以自行改造，使用 /etc/init.d/ 目录中的服务命令或 service 命令替代systemctl。
- 注意！WSL2经常会与主机时间不同步，这可能会造成很多问题（包括proxy用不了），你最好设置一个启动脚本或自己执行`sudo hwclock -s`强制对WSL2时间进行同步，可使用`sudo hwclock`查看WSL的当前时间，
- 以防出现奇怪问题你可以经常对WSL做快照：[https://blog.csdn.net/weixin_43425561/article/details/115765148](https://blog.csdn.net/weixin_43425561/article/details/115765148)
- 改变/增加WSL2的内存、swap空间大小

在C盘的用户主目录下（比如我的是C:\Users\sanbu）创建`.wslconfig`文件夹，在里面输入

```text
[wsl2]
memory=8GB
swap=16GB
# 为 WSL 2 虚拟机分配的处理器核心数量
# processors=

```

在配置设置完之后，在powershell执行`wsl --shutdown`命令进行关闭，随后再打开即可（注意，如果你使用了docker-desktop，实际上也是基于wsl2构建的，所以也会影响到的对应环境的资源

- 暴露wsl的服务（桥接）：[https://www.cnblogs.com/huanliu/p/17161388.html](https://www.cnblogs.com/huanliu/p/17161388.html) （记得开始要在powershell 中使用`Set-VMSwitch WSL -NetAdapterName 以太网`）此时桥接后可能还不能上网，需要加入8.8.8.8 nameserver

简单启动流程：

`Set-VMSwitch WSL -NetAdapterName 以太网`

然后运行下列ps1文件

```text
echo "正在解除wsl桥接..."
Set-VMSwitch WSL -SwitchType Internal
echo "正在重启wsl"
wsl --shutdown
wsl --cd ~ -e ls
echo "`ndone"
pause
```

然后wsl中：

```Bash
new_ip=新的映射ip
brd=新的映射ip.255
gateway=网关
nameserver=网关
net_dev=eth0
sudo ip addr del $(ip addr show $net_dev | grep 'inet\b' | awk '{print $2}' | head -n 1) dev $net_dev
sudo ip addr add $new_ip/24 broadcast $brd dev $net_dev
sudo ip route add 0.0.0.0/0 via $gateway dev $net_dev
sudo sed -i "\$c nameserver $nameserver" /etc/resolv.conf
```

- wsl的硬盘空间怎么办？——挂载其他硬盘，如：`sudo mount -t drvfs D: /mnt/d`
- WSL怎么释放空间，wsl硬盘压缩虚拟硬盘压缩：[https://zhuanlan.zhihu.com/p/521747491](https://zhuanlan.zhihu.com/p/521747491)
- 在Program Files\DOCKERimages\DockerDesktopWSL\data 之类的地方搜索
- 或者是 C:\Users\hp\AppData\Local\Packages\之类的地方搜索能找到ext4.vhdx文件
- WSL 有时候发现没法使用nvidia-smi怎么办？其实有时候是因为没有权限，如果你发现sudo nvidia-smi可以但是非sudo不行那可能是因为root 切用户的时候权限错了。。。sudo su 用户就可以解决问题，并不是显卡挂了
- 一个巨坑，WSL 和 Docker Desktop 的 bug 问题，如果你装了这两个可能会在启动wsl或者vscode链接wsl的时候遇到如下类似的问题：

```Python
Processing fstab with mount -a failed.

<3>WSL (8) ERROR: CreateProcessEntryCommon:370: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:374: getpwuid(0) failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:577: execvpe /bin/sh failed 2
<3>WSL (8) ERROR: CreateProcessEntryCommon:586: Create process not expected to return

```

因为这时候你使用`wsl -l`会发现默认的发行版是 docker-desktop，所以我们需要把他切换成ubuntu即可：使用 `wsl -s Ubuntu` 设置成发行版即可（在 wsl -l 里找你的ubuntu版本）
- 注意不同的操作系统编辑创建文件后行尾符可能不同，使用的时候请显式在IDE指定是LF（如果需要在linux运行）否则会出现 command not found 的报错。LF（Line Feed）使用于 Unix 和类 Unix 系统，表示为 `\n`，是单个字符（ASCII 10）；CRLF（Carriage Return + Line Feed）使用于 Windows 系统，表示为 `\r\n`，包含两个字符：回车（ASCII 13）和换行（ASCII 10）。

#### windows常见工具箱

- 有关windows家的镜像源以及VS等的纯净安装文件，以及各种网络工程师能用到的软件程序安装包

[https://msdn.itellyou.cn/](https://msdn.itellyou.cn/)

- 图吧工具箱（给自己电脑做硬件分析等等

[http://www.tbtool.cn/](http://www.tbtool.cn/)

- DISM++ 最好用的windows控制面板工具箱（直接看release部分下载

[https://github.com/Chuyu-Team/Dism-Multi-language](https://github.com/Chuyu-Team/Dism-Multi-language)

- Ubuntu - bash脚本与 Windows - bat 脚本互相转换工具（Bash to Bat Converter

[https://daniel-sc.github.io/bash-shell-to-bat-converter/](https://daniel-sc.github.io/bash-shell-to-bat-converter/)

- windows-linux命令行对照表

[https://www.geeksforgeeks.org/linux-vs-windows-commands/](https://www.geeksforgeeks.org/linux-vs-windows-commands/)

- windows下类似apt这种包管理软件——scoop

[https://blog.csdn.net/weixin_45191386/article/details/130662281](https://blog.csdn.net/weixin_45191386/article/details/130662281)

- windows kill 指定端口程序

```Python
netstat -ano | findstr :

taskkill /PID /F
```
- 硬盘分区和文件强制删除工具（比大多数的粉碎工具都好用）

[https://www.diskgenius.cn/](https://www.diskgenius.cn/)
- 用于在其他系统去除windows的`\r`标识，避免macos和linux运行报错：

```Bash
sed -i '' $'s/\r$//' filename
```

#### 正则表达式相关

- 正则表达式入门与练习

[https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md](https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md)

- 正则表达式可视化浏览

[https://regexr.com/](https://regexr.com/)

- 长正则表达式结构可视化

[https://regexper.com/](https://regexper.com/)

- 常用正则表达式汇总（车牌号手机号姓名IP等等）

[http://obkoro1.com/web_accumulate/codeBlack/正则表达式收集.html](http://obkoro1.com/web_accumulate/codeBlack/正则表达式收集.html)

#### docker相关

【重点提示】对于ubuntu，如果你使用第一种命令行的方式安装了docker engine，切记不要安装docker desktop。或者直接就安装docker desktop。否则会找不到原来的镜像和container！这两并不兼容，详情请看官方说明。如果你不小心装了两个，想要恢复原来的docker，直接apt卸载docker desktop即可。

```text
Docker Desktop on Linux runs a Virtual Machine (VM) so creates and uses a custom docker context desktop-linux on startup.

This means images and containers deployed on the Linux Docker Engine (before installation) are not available in Docker Desktop for Linux

```

- docker的一切：

[https://yeasy.gitbook.io/docker_practice/](https://yeasy.gitbook.io/docker_practice/)

- docker官方安装教程

[https://docs.docker.com/desktop/install/ubuntu/](https://docs.docker.com/desktop/install/ubuntu/)

安装结束后记的：`sudo chmod a+rw /var/run/docker.sock`（不过可能在一些用户权限限制比较多的电脑这样可能端口映射后对端口请求可能还是会出现一些问题，你可以通过设定为777权限解决。）

- 使docker能够避免输入sudo（通过 docker info检查是否要sudo才可输出）

[https://www.yisu.com/zixun/139260.html](https://www.yisu.com/zixun/139260.html)

- windows下安装docker desktop到其他硬盘（主要是mklink /j "C:\Program Files\Docker" "D:\Program Files\Docker"）以防空间占用过多

参考：[https://blog.csdn.net/liangcsdn111/article/details/110236655](https://blog.csdn.net/liangcsdn111/article/details/110236655)

- 在WSL2下使用docker

【你只需要安装docker desktop然后参考这个教程，点点就能用了】：

[https://dockerdocs.cn/docker-for-windows/wsl/](https://dockerdocs.cn/docker-for-windows/wsl/)

可以很方便使用！无需按照命令行安装即可使用docker！

- 安装docker后启动时遇到：Failed to connect to bus: Host is down（我在WSL2遇到，非必要不使用，最好还是先安装一下systemctl确保能用）

```Bash
# 运行下列操作即可，然后 sudo systemctl daemon-reload
# https://gist.github.com/alyleite/ca8b10581dbecd722d9dcc35b50d9b2b
sudo apt-get update && sudo apt-get install -yqq daemonize dbus-user-session fontconfig

sudo daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target

exec sudo nsenter -t $(pidof systemd) -a su - $LOGNAME

snap version
```
- NVIDIA docker的使用（用文中方式启动docker的插件，然后用docker run gpu启动，或者参考下面的教程安装和启动。）（有时候update出问题是nvidia网络抽风了。。别急

[https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)

- docker换源（拉镜像极大加速）

[https://blog.51cto.com/u_13281972/2997681](https://blog.51cto.com/u_13281972/2997681)

- 修改Docker默认镜像和容器的存储位置

[https://www.cnblogs.com/chentiao/p/16963647.html](https://www.cnblogs.com/chentiao/p/16963647.html)

- docker pull images — use proxy

[https://www.lfhacks.com/tech/pull-docker-images-behind-proxy/](https://www.lfhacks.com/tech/pull-docker-images-behind-proxy/)

- docker — use proxy（在容器内）（记得主机listen 172或者0.0.0.0

**方法一：**

-it 以及加上了host命令进入docker后（比如：）

```Bash
nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it [registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev](http://registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev) /bin/bash
```

此时在内部可以看到两个网卡，我们可以监听172ip的某个端口，然后使用

export ALL_PROXY="[http://172.17.0.1:8888/](http://172.17.0.1:8888/)"

`export ALL_PROXY=socks5://172.17.0.1:1088` 即可使用proxy。（有时候还不够用，可以加上https的）（不需要host network 只需要bind 172 即可使用）

```Bash
export http_proxy="http://172.17.0.1:8888/"

export HTTP_PROXY="http://172.17.0.1:8888/"

export https_proxy="http://172.17.0.1:8888/"

export HTTPS_PROXY="http://172.17.0.1:8888/"
```

**docker build proxy：**
1. make sure your proxy bind 172.17.0.1 and port (e.g. 8888)
2. add that in dockerfile

```Docker
ENV http_proxy "http://172.17.0.1:8888/"

ENV HTTP_PROXY "http://172.17.0.1:8888/"

ENV https_proxy "http://172.17.0.1:8888/"

ENV HTTPS_PROXY "http://172.17.0.1:8888/"
```
3. run it

**方法三：**运行终端版的v2ray之类的软件，后台运行后直接使用proxychains4的http代理即可（很多不能走socker）

注释：如果而在终端遇到curl之类的奇怪的http问题，请env|grep查看有无奇怪的环境变量或者关闭proxy的系统proxy功能。因为无需开启也可以操作。

- docker磁盘占用查看与缓存清理

[https://blog.csdn.net/m0_67390963/article/details/126327604](https://blog.csdn.net/m0_67390963/article/details/126327604)

- 利用docker调试代码，以apollo为例：

[https://zhuanlan.zhihu.com/p/468146522](https://zhuanlan.zhihu.com/p/468146522)

- 导出自己的镜像和导入：

[https://yeasy.gitbook.io/docker_practice/container/import_export](https://yeasy.gitbook.io/docker_practice/container/import_export)

- 提交自己的镜像到dockehub：(你也可以参考上面提到的docker的一切，里面什么都有。

可参考 [https://blog.csdn.net/butterfly5211314/article/details/83068807](https://blog.csdn.net/butterfly5211314/article/details/83068807)

- windows下docker挂载本地文件夹（利用powershell或者cmd之类的）

-v /d/PycharmProjects:/test （注意一下这个形式）
-v挂载本地文件夹到docker容器中，在容器中修改/test文件夹中的内容也就是修改D:\PycharmProjects文件夹中的内容

- docker读写：`docker save example-image > example-image.tar`写：`docker load < example-image.tar`

#### 前端相关

nodejs下载安装与初始化方法

[https://nodejs.org/en/download](https://nodejs.org/en/download)

[https://blog.csdn.net/xuchaoxin1375/article/details/121709299](https://blog.csdn.net/xuchaoxin1375/article/details/121709299)

用自然语言对话生成前端页面

[https://v0.dev/](https://v0.dev/)

node npm切换版本

```text
nvm use xxx
```

#### 其他

云服务器相关：

（AWS）boto3使用教程用法

[https://blog.csdn.net/weixin_46105038/article/details/118220439](https://blog.csdn.net/weixin_46105038/article/details/118220439)

不知道变量怎么命名就可以看看：

[https://unbug.github.io/codelf/](https://unbug.github.io/codelf/)

电脑装机，组装一台电脑：

去bilibili随便搜前二的多看几遍

我自己的配置：

```text
凯侠1T ：375
铭瑄3060 12g 2349 （记得卡扣先打开再插显卡
金白达三星16G*2 389
爱国者机箱 114 （机箱大比较好处理线
海韵金牌全模组650W 599
散热器利民ax120rse 69.9
13490F + B660M WIFID4重炮手华硕 2429
```

gradio的proxy冲突了怎么办？

——设置不同的监听地址，比如gradio可以直接监听ip或者172的容器地址，不需要127.0.0.1

QT报错如何，类似 qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found. [https://neucrack.com/p/407](https://neucrack.com/p/407)
- export QT_QPA_PLATFORM="xcb"
- export QT_DEBUG_PLUGINS=1
- export QT_QPA_PLATFORM=offscreen

### 其他有趣的文章

有关linux的基础讲解，有配图和自己的理解，推荐一读。

[https://segmentfault.com/u/public0821](https://segmentfault.com/u/public0821)

一个对cpu和网络了解都非常深入的工程师

[https://plantegg.github.io/](https://plantegg.github.io/)

其中最好的一类文章（有关cpu的讲解）[https://plantegg.github.io/2021/06/01/CPU的制造和概念/](https://plantegg.github.io/2021/06/01/CPU的制造和概念/)

一个关于各种生成网络和编码器小论文通读的博主，有些写的还可以（比较基础入门）

[https://medium.com/@falconives](https://medium.com/@falconives)

java相关技术栈资料大全博主（还有一些三大件相关的资料，还挺多

[http://learn.lianglianglee.com/](http://learn.lianglianglee.com/)

Linux性能分析工具大全（Linux/BSD性能专家Brendan Gregg）

[https://www.brendangregg.com/linuxperf.html](https://www.brendangregg.com/linuxperf.html)

面向程序员的各类调用库清单（主要是C/C++ PYTHON)

[https://github.com/programthink/opensource](https://github.com/programthink/opensource)

GitHub中文排行榜

[https://github.com/GrowingGit/GitHub-Chinese-Top-Charts](https://github.com/GrowingGit/GitHub-Chinese-Top-Charts)

GitHub 上有趣、入门级的开源项目

[https://github.com/521xueweihan/HelloGitHub](https://github.com/521xueweihan/HelloGitHub)

美化自己的github界面

[https://zhuanlan.zhihu.com/p/454597068](https://zhuanlan.zhihu.com/p/454597068)

[github.com/rzashakeri/beautify-github-profile](http://github.com/rzashakeri/beautify-github-profile)

[https://bowenyoung.cn/posts/githubBeautify](https://bowenyoung.cn/posts/githubBeautify)

社区制作的一键生成界面：[https://rahuldkjain.github.io/gh-profile-readme-generator/](https://rahuldkjain.github.io/gh-profile-readme-generator/)

公众号 / 真没什么逻辑的作者（为什么这么设计系列文章）涉及网络、数据库、操作系统等

[https://draveness.me/whys-the-design/](https://draveness.me/whys-the-design/)

Roadmap to becoming a developer

[https://github.com/kamranahmedse/developer-roadmap](https://github.com/kamranahmedse/developer-roadmap)

小林 x 图解计算机基础（国内最好的八股文整理之一）（图解网络和操作系统）

[https://xiaolincoding.com/](https://xiaolincoding.com/)

linux inside 讲解了一下linux内部运行机制，比如Program startup process in userspace

[https://0xax.gitbooks.io/linux-insides/content/Misc/linux-misc-4.html](https://0xax.gitbooks.io/linux-insides/content/Misc/linux-misc-4.html)

苏剑林的空间（从数学再到NLP再到天文都有涉猎

[https://spaces.ac.cn/](https://spaces.ac.cn/)

技术博文《Chromium 渲染流水线——字节码到像素的一生》
[http://t.cn/A60JwWOw](http://t.cn/A60JwWOw)
本文回顾了现代浏览器架构和Chromium进程模型的基础知识，以及Chromium 中渲染流水线的整个过程。所谓渲染流水线，就是从接受网络的字节码开始，一步步处理这些字节码把它们转变成屏幕上像素的过程

深入了解现代 web 浏览器系列文章

计算机的核心 CPU 和 GPU、在进程和线程上执行程序

[http://t.cn/A6ani5Ip](http://t.cn/A6ani5Ip)

### 操作系统与体系结构

南京大学计算机基础（袁春风）CSAPP的青春版，但比csapp好懂得多（强烈不建议一开始就读csapp

赶时间可以直接看配套书。

[https://www.icourse163.org/course/nju-1001625001#/info](https://www.icourse163.org/course/nju-1001625001#/info)

前置：南京大学计算机基础实验（做了能让你真的变强）[https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html](https://nju-projectn.github.io/ics-pa-gitbook/ics2021/index.html)

2022 南京大学拔尖计划《操作系统：设计与实现》

(蒋炎岩我永远的超级无敌酷炫宝藏男神，还有什么好说的呢？没有他我就永远不懂计算机的美丽

当然包云岗老师也是我的男神哈哈哈哈哈哈)

课程主页：[http://jyywiki.cn/OS/2022/](http://jyywiki.cn/OS/2022/) (slides、示例代码)

视频地址： [https://www.bilibili.com/video/BV1Cm4y1d7Ur/](https://www.bilibili.com/video/BV1Cm4y1d7Ur/)

操作系统（哈工大李治军老师）课件可在下方链接获取。

- 慕课网: [http://www.feemic.cn/mooc/icourse163/1002692015#。](http://www.feemic.cn/mooc/icourse163/1002692015#。)
- 百度云链接：[https://pan.baidu.com/s/1h2aEk6A_DGpXkZvRtNmeUw](https://pan.baidu.com/s/1h2aEk6A_DGpXkZvRtNmeUw) 提取码：qoll
- 配套实验课：[https://www.shiyanlou.com/courses/115](https://www.shiyanlou.com/courses/115)

MIT 6.S081: Operating System Engineering

[https://csdiy.wiki/操作系统/MIT6.S081/](https://csdiy.wiki/操作系统/MIT6.S081/)

浙江大学周亚金老师的操作系统课课件（写的很好，有操作和现代的一些规范备注，我很喜欢）

在Schedule中可以获取到全部课件

[https://yajin.org/os2018fall/](https://yajin.org/os2018fall/)

南京大学软件分析课程：

[https://tai-e.pascal-lab.net/pa1.html#_1-作业导览](https://tai-e.pascal-lab.net/pa1.html#_1-作业导览)

[https://space.bilibili.com/2919428/channel/series](https://space.bilibili.com/2919428/channel/series)

教科书《计算机体系结构基础》（胡伟武等，第三版）的开源版本

[https://github.com/foxsen/archbase](https://github.com/foxsen/archbase)

【MIT公开课】6.172 软件性能工程

[https://www.bilibili.com/video/BV1wA411h7N7/](https://www.bilibili.com/video/BV1wA411h7N7/)

Online 8086 EMULATOR

[https://yjdoc2.github.io/8086-emulator-web/](https://yjdoc2.github.io/8086-emulator-web/)

**其他有趣文章:**

如何实现一个elf的loader：[https://blog.csdn.net/GoolyOh/article/details/119801160](https://blog.csdn.net/GoolyOh/article/details/119801160)

从一个ELF程序的加载窥探操作系统内核:

[https://blog.csdn.net/goolyoh/category_11298420.html](https://blog.csdn.net/goolyoh/category_11298420.html)

如何实现最小的hello world?

[https://cjting.me/2020/12/10/tiny-x64-helloworld/](https://cjting.me/2020/12/10/tiny-x64-helloworld/)

Linux 内核揭密（一系列关于 Linux 内核和其内在机理的帖子。）

[https://xinqiu.gitbooks.io/linux-inside-zh/content/](https://xinqiu.gitbooks.io/linux-inside-zh/content/)

### 计算机网络学习

课程类待补充

其他文章：

tcp高级疑难汇总案例分析：[plantegg.github.io/2021/02/14/TCP疑难问题案例汇总/](http://plantegg.github.io/2021/02/14/TCP疑难问题案例汇总/)

这个博主写了网络编程相关的一系列文章：[https://juejin.cn/user/862486453028888/posts](https://juejin.cn/user/862486453028888/posts)

其中我最喜欢：Nginx一网打尽：动静分离、压缩、缓存、黑白名单、跨域、高可用、性能优化：

[https://juejin.cn/post/7112826654291918855](https://juejin.cn/post/7112826654291918855)

有前端Nginx服务器在线配置，及大改善修改nginx的配置体验

[https://www.digitalocean.com/community/tools/nginx?global.app.lang=zhCN](https://www.digitalocean.com/community/tools/nginx?global.app.lang=zhCN)

项目来源：[https://github.com/digitalocean/nginxconfig.io](https://github.com/digitalocean/nginxconfig.io)

### 数据结构与算法

hello 算法，图文并茂的简单入门

[https://www.hello-algo.com/](https://www.hello-algo.com/)

程序员如何准备面试中的算法

[https://wizardforcel.gitbooks.io/the-art-of-programming-by-july/content/00.01.html](https://wizardforcel.gitbooks.io/the-art-of-programming-by-july/content/00.01.html)

labuladong 的算法小抄

[https://github.com/labuladong/fucking-algorithm](https://github.com/labuladong/fucking-algorithm)

ACWING的课

[https://www.acwing.com/activity/](https://www.acwing.com/activity/)

GitHub's largest open-source algorithm library

[https://the-algorithms.com/](https://the-algorithms.com/)

数据结构与算法可视化

[https://visualgo.net/zh](https://visualgo.net/zh)

### 设计模式

一个图文并茂的设计模式学习网站

[refactoringguru.cn/design-patterns](http://refactoringguru.cn/design-patterns)

### 高性能计算

华东师范大学高等数值分析（高性能计算，并行计算）(Parallel and High Performance Computing)

[https://math.ecnu.edu.cn/~jypan/Teaching/ParaComp/](https://math.ecnu.edu.cn/~jypan/Teaching/ParaComp/)

## 高性能计算与编译器

常用MPI、cublas等高性能基础库调用api快速入门

[https://docs.hpc.sjtu.edu.cn/app/compilers_and_languages/intel_mpi.html](https://docs.hpc.sjtu.edu.cn/app/compilers_and_languages/intel_mpi.html)

### mlir

LLVM IR入门指南

[https://github.com/Evian-Zhang/llvm-ir-tutorial](https://github.com/Evian-Zhang/llvm-ir-tutorial)

动手写mlir by strint

[http://strint.github.io/220220-mlir/220220-mlir.html](http://strint.github.io/220220-mlir/220220-mlir.html)

Toy Tutorial : the implementation of a basic toy language on top of MLIR.

[https://mlir.llvm.org/docs/Tutorials/Toy/](https://mlir.llvm.org/docs/Tutorials/Toy/)

Kaileidoscope: LLVM Tutorial Chinese version(中文版)

[https://kaleidoscope-llvm-tutorial-zh-cn.readthedocs.io/zh_CN/latest/](https://kaleidoscope-llvm-tutorial-zh-cn.readthedocs.io/zh_CN/latest/)

### webgpu

WebGPU Fundamentals

[https://webgpufundamentals.org/](https://webgpufundamentals.org/)

wgpu 中文版跨平台开发（Web + App）教程：

[https://jinleili.github.io/learn-wgpu-zh/](https://jinleili.github.io/learn-wgpu-zh/)

### CUDA编程

CUDA Crash Cours BY CoffeeBeforeArch

[https://www.youtube.com/watch?v=2NgpYFdsduY&list=PLxNPSjHT5qvtYRVdNN1yDcdSl39uHV_sU&index=1](https://www.youtube.com/watch?v=2NgpYFdsduY&list=PLxNPSjHT5qvtYRVdNN1yDcdSl39uHV_sU&index=1)

官方入门文档

[https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html](https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html)

适合入门的小型Python编译器项目（包含cuda相关内容）

[https://zhuanlan.zhihu.com/p/603352525](https://zhuanlan.zhihu.com/p/603352525)

cuda学习教程

[https://space.bilibili.com/37270391/channel/seriesdetail?sid=1454805](https://space.bilibili.com/37270391/channel/seriesdetail?sid=1454805)

CUDA-Programming-Guide-in-Chinese

[https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese](https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese)

CUDA C++ Programming Guide

[https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html](https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html)

CUDA Freshman:Some of them are from the book "Professional CUDA C Programming"

[https://github.com/Tony-Tan/CUDA_Freshman](https://github.com/Tony-Tan/CUDA_Freshman)

CS344 Introduction to Parallel Programming class code

[https://github.com/udacity/cs344](https://github.com/udacity/cs344)

[https://www.youtube.com/watch?v=F620ommtjqk&list=PLAwxTw4SYaPnFKojVQrmyOGFCqHTxfdv2](https://www.youtube.com/watch?v=F620ommtjqk&list=PLAwxTw4SYaPnFKojVQrmyOGFCqHTxfdv2)

谭升的博客，CUDA编程

[https://face2ai.com/program-blog/](https://face2ai.com/program-blog/)

很好的各种各样CUDA的优化文章合计强烈推荐

[https://github.com/YconquestY/Needle/blob/main/backend.md](https://github.com/YconquestY/Needle/blob/main/backend.md)

CUDA samples CUDA官方案例

[https://github.com/NVIDIA/CUDALibrarySamples](https://github.com/NVIDIA/CUDALibrarySamples)

#### CUDA 课本相关

Programming-Massively-Parallel-Processors 相关习题作业

[https://github.com/guanrenyang/Programming-Massively-Parallel-Processors/blob/master/Chapter04/README.md](https://github.com/guanrenyang/Programming-Massively-Parallel-Processors/blob/master/Chapter04/README.md)

[https://github.com/nvixnu/pmpp__programming_massively_parallel_processors/blob/master/chapter_04/ch4__matrix_mul.cu](https://github.com/nvixnu/pmpp__programming_massively_parallel_processors/blob/master/chapter_04/ch4__matrix_mul.cu)

[https://github.com/Syencil/Programming_Massively_Parallel_Processors](https://github.com/Syencil/Programming_Massively_Parallel_Processors)

### MPI通信

如何同时实现高性能并行+分布式计算？| Taichi x MPI4Py - 太极图形的文章 - 知乎 [https://zhuanlan.zhihu.com/p/581896682](https://zhuanlan.zhihu.com/p/581896682)

## 深度学习大类

### NVIDIA环境配置常见问题

- 显卡驱动安装快速方法：

（你也可以在这里下：[https://www.nvidia.com/download/index.aspx?lang=en-us](https://www.nvidia.com/download/index.aspx?lang=en-us)）

ubuntu-drivers devices

sudo apt install 输入显示的推荐版本

（如果安装失败了或者重装或者遇到冲突依赖，请先把原来的依赖删除：sudo apt-get remove --purge nvidia*

如果你使用docker，驱动重新安装后请根据 [https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) 重新启动docker

- CUDA与cuDNN的安装：（直接官网文档）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式，】

注意：a100和3090ti不支持cuda11以下，请装113以上的版本。

教程可参考官网：[Archive of Previous CUDA Releases](https://developer.nvidia.com/cuda-toolkit-archive)

[https://developer.nvidia.com/cuda-downloads](https://developer.nvidia.com/cuda-downloads)

[https://developer.nvidia.com/rdp/cudnn-archive](https://developer.nvidia.com/rdp/cudnn-archive)

cudnn的官方安装教程（通过tar文件自己cp或者根据教程安装deb）

[https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html](https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html)

cudnn的卸载可参考：[https://zhuanlan.zhihu.com/p/83971195](https://zhuanlan.zhihu.com/p/83971195)

cuda之类的卸载参考：[https://blog.csdn.net/m0_37605642/article/details/119637836](https://blog.csdn.net/m0_37605642/article/details/119637836)

(注意，这里默认是最新版本的，你需要在右下角进入档案选择对应版本安装,或在下面的网页中找到archive）

TensorRT的安装（参考Debian Installation）【警告⚠，如果你需要安装tensorrt，请用deb形式安装cuda安装包，官方建议如果CUDA采用的是deb方式，tensorrt也要采用deb方式】

【不要安装最新的cuda工具包，很可能不支持，一般只支持上一个版本（看清楚对应cuda对应）】

[https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-debian](https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-debian)

- 安装cuda结束后记得把这两个命令加入到~/.bashrc 然后source。

**如果你想要修改版本，可以修改cuda的软链接（选择其他版本的cuda），或者在bashrc中的cuda后面加上版本，如cuda-11.2**

（具体的安装和卸载也可以参考[https://flywine.blog.csdn.net/article/details/81879514](https://flywine.blog.csdn.net/article/details/81879514)）

```Bash
export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"

```

解决nvcc版本不一致问题（可能的方法，更换runtime映射

[https://qiyuan-z.github.io/2022/01/06/解决nvidia-smi和nvcc显示信息与所安装CUDA版本不一致问题/](https://qiyuan-z.github.io/2022/01/06/解决nvidia-smi和nvcc显示信息与所安装CUDA版本不一致问题/)

解决cudnn找不到问题（软连接到系统库）

[https://blog.csdn.net/qq451882471/article/details/106967942](https://blog.csdn.net/qq451882471/article/details/106967942)

CUDA GPG Repository Key

[https://forums.developer.nvidia.com/t/notice-cuda-linux-repository-key-rotation/212772](https://forums.developer.nvidia.com/t/notice-cuda-linux-repository-key-rotation/212772)

Tensorrt X docker环境搭建（现在（20221228）tensorrt-ubuntu已经支持deb安装，如果tar就选linux的）

[https://blog.csdn.net/hxj0323/article/details/115859174](https://blog.csdn.net/hxj0323/article/details/115859174)

update后nvidia报GPG相关问题（我在18.04的docker遇到）：

```Bash
echo 'deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 /' > /etc/apt/sources.list.d/cuda.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com $(加入报错的密钥)
apt update
```

- 解决类似 `error code is libcuda.so: cannot open shared object file: No such file or directory`的问题：[https://stackoverflow.com/questions/54249577/importerror-libcuda-so-1-cannot-open-shared-object-file](https://stackoverflow.com/questions/54249577/importerror-libcuda-so-1-cannot-open-shared-object-file)

```Bash
# 此处我们搜索的是libcuda.so
sudo find /usr/ -name 'libcuda.so' #有时候搜索的是libcuda.so.*
# 这一步是为了找到所在文件夹，我在WSL中搜到了几个文件夹下，我任意加入一个文件夹到LD_PATH：

# 假如前一步发现libcuda的位置为：/usr/lib/wsl/lib/libcuda.so
# 告诉系统要在这里找，你也可以把这句话加入到~/.bashrc然后source ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/targets/x86_64-linux/lib
```

NVIDIA显卡运行时状态监控不错的python库（实时监控）

[https://github.com/XuehaiPan/nvitop](https://github.com/XuehaiPan/nvitop)

windows下安装CUDA工具链相关如果出现VS拓展安装失败的问题，可以先卸载本地安装的所有VS相关软件，然后重新安装官方的最新版本的VS就可以。

NVIDIA显卡计算能力？(如sm75）查询：[https://developer.nvidia.com/zh-cn/cuda-gpus](https://developer.nvidia.com/zh-cn/cuda-gpus)

### 理论基础（时间少直接看李沐/李宏毅）

**周志华**

南瓜书主页

[https://datawhalechina.github.io/pumpkin-book/#/](https://datawhalechina.github.io/pumpkin-book/#/)

周志华《机器学习》手推笔记 by Sophia-11

[https://github.com/Sophia-11/Machine-Learning-Notes](https://github.com/Sophia-11/Machine-Learning-Notes)

周志华《机器学习》笔记（主要是文本） by yv.l1.pnn

[https://zhuanlan.zhihu.com/p/134089340](https://zhuanlan.zhihu.com/p/134089340)

### **深度学习网课**

Anthropic 核心成员写的现代深度学习教材，包括CNN、transformer可解释性、强化学习，拥有大量有趣实验，非常推荐。

[https://arena3-chapter1-transformer-interp.streamlit.app/](https://arena3-chapter1-transformer-interp.streamlit.app/)

基础方向的经典 code [https://github.com/sgrvinod](https://github.com/sgrvinod)

案例式入门深度学习，每个算法都与有最小data和code [https://course.fast.ai/](https://course.fast.ai/)

EECS 498-007 / 598-005

[https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/](https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/)

[https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/schedule.html](https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2020/schedule.html)

- 李宏毅老师的课程主页：

[https://speech.ee.ntu.edu.tw/~hylee/index.php](https://speech.ee.ntu.edu.tw/~hylee/index.php) 这是李老师的个人主页，可以找到每年ML的课程主页，然后获取作业代码和Kaggle链接

- 李宏毅《机器学习》：

[https://www.bilibili.com/video/BV1Ht411g7Ef](https://www.bilibili.com/video/BV1Ht411g7Ef)

- 李宏毅机器学习笔记：

[https://gitee.com/datawhalechina/leeml-notes](https://gitee.com/datawhalechina/leeml-notes)

- 李宏毅《机器学习/深度学习》2021课程：

[https://www.bilibili.com/video/BV1JA411c7VT?p=34](https://www.bilibili.com/video/BV1JA411c7VT?p=34)

- 李宏毅2022课程：

[https://www.bilibili.com/video/BV1JK4y1D7Wb/](https://www.bilibili.com/video/BV1JK4y1D7Wb/)

李沐动手学深度学习（适合速成，打基础建议李宏毅）

[https://zh.d2l.ai/index.html](https://zh.d2l.ai/index.html)

李沐深度学习精读

[https://github.com/mli/paper-reading](https://github.com/mli/paper-reading)

伯克利 CS 182 深度学习：深度神经网络设计、可视化与理解

Home: [https://cs182sp21.github.io/](https://cs182sp21.github.io/)

[https://www.bilibili.com/video/BV1PK4y1U751](https://www.bilibili.com/video/BV1PK4y1U751)

University of Waterloo CS 886: Recent Advances on Foundation Models

[https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/](https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/)

CV相关，有关各种国外AIlab的课某科学的计算机视觉学习路线

某科学的计算机视觉学习路线 - Zircon的文章 - 知乎
[https://zhuanlan.zhihu.com/p/418853202](https://zhuanlan.zhihu.com/p/418853202)

paper with code 做法

[https://nn.labml.ai/](https://nn.labml.ai/)

### 深度学习动手项目

小土堆 pytorch学习

[https://space.bilibili.com/203989554](https://space.bilibili.com/203989554?spm_id_from=333.337.search-card.all.click)

霹雳吧啦Wz 图像分类篇章以及目标检测

[https://space.bilibili.com/18161609/channel/collectiondetail?sid=48290](https://space.bilibili.com/18161609/channel/collectiondetail?sid=48290)

手写YOLO系列和fast rcnn系列：

[https://www.bilibili.com/video/BV1JR4y1g77H](https://www.bilibili.com/video/BV1JR4y1g77H?spm_id_from=333.999.0.0&vd_source=a6509cab8ccb8b81d6a70af693cc008f)

[https://space.bilibili.com/472467171](https://space.bilibili.com/472467171)

学会自己训练一个esrgan等超分辨率模型

[https://www.youtube.com/watch?v=iH7-eYlf7eg](https://www.youtube.com/watch?v=iH7-eYlf7eg)

超分辨率训练框架

[https://github.com/muslll/neosr](https://github.com/muslll/neosr)

手写各种论文、复现各种论文项目

[https://github.com/lucidrains](https://github.com/lucidrains)

手写复现各种 vit 网络

[https://github.com/lucidrains/vit-pytorch](https://github.com/lucidrains/vit-pytorch)

### 开源库/项目

OpenMMLab

[https://openmmlab.com/](https://openmmlab.com/)

[https://github.com/open-mmlab](https://github.com/open-mmlab)

paddle

[https://github.com/PaddlePaddle](https://github.com/PaddlePaddle)

Deep Learning Paper Implementations

[https://github.com/labmlai/annotated_deep_learning_paper_implementations](https://github.com/labmlai/annotated_deep_learning_paper_implementations)

Awesome Machine Learning

[https://github.com/josephmisiti/awesome-machine-learning](https://github.com/josephmisiti/awesome-machine-learning)

Awesome Deep Learning

[https://github.com/ChristosChristofidis/awesome-deep-learning](https://github.com/ChristosChristofidis/awesome-deep-learning)

【杂谈】GitHub上的机器学习/深度学习综述项目合集 - 言有三的文章 - 知乎 [https://zhuanlan.zhihu.com/p/60245227](https://zhuanlan.zhihu.com/p/60245227)

华校专，曾任阿里巴巴资深算法工程师多年以来学习总结的笔记（机器学习和深度学习）

[https://www.huaxiaozhuan.com/](https://www.huaxiaozhuan.com/)

有关实践方法论的总结：[https://www.huaxiaozhuan.com/深度学习/chapters/18_practical.html](https://www.huaxiaozhuan.com/深度学习/chapters/18_practical.html)

王树森（小红书算法工程师、基础模型团队负责人）老师的推荐系统、强化学习相关课程

[https://github.com/wangshusen/RecommenderSystem](https://github.com/wangshusen/RecommenderSystem)

[https://github.com/wangshusen/DRL](https://github.com/wangshusen/DRL)

### 数据集类网站

[https://universe.roboflow.com/](https://universe.roboflow.com/)

NLPDataSet（刘聪NLP收集的各种nlp数据集，接近50个。。。）

[https://github.com/liucongg/NLPDataSet](https://github.com/liucongg/NLPDataSet)

NLP Chinese Data Augmentation 一键中文数据增强工具

[https://github.com/425776024/nlpcda](https://github.com/425776024/nlpcda)

url_img to dataset

Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls in 20h on one machine.

[https://github.com/rom1504/img2dataset](https://github.com/rom1504/img2dataset)

### 3D感知相关

从零开始搭一套激光SLAM出来, 通过代码的角度一点一点地深入学习激光SLAM.

[https://github.com/xiangli0608/Creating-2D-laser-slam-from-scratch](https://github.com/xiangli0608/Creating-2D-laser-slam-from-scratch)

### AIGC

不错的aigc设计资讯网

[https://www.uisdc.com/category/ai](https://www.uisdc.com/category/ai)

在线AI Prompt生成工具和Prompt库

[http://t.cn/A6N4WjEX](http://t.cn/A6N4WjEX)

该工具把 AIGC 提示词可视化，并提供在线编辑功能，动态编辑十分方便

在线体验：[http://t.cn/A6N46h6p](http://t.cn/A6N46h6p) GitHub：[github.com/Moonvy/OpenPromptStudio](http://github.com/Moonvy/OpenPromptStudio)、

comfyui工作流分享网站

[https://openart.ai/workflows/home?workflowSort=featured](https://openart.ai/workflows/home?workflowSort=featured)

### 其他

快速下载torch安装包（wget下载然后直接pip install）

[https://download.pytorch.org/whl/torch/](https://download.pytorch.org/whl/torch/)

快速备忘torch gpu安装：[https://pytorch.org/get-started/previous-versions/](https://pytorch.org/get-started/previous-versions/)

```Bash
pip install torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1

pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

```

xformers与pytorch版本对应

```Bash
2.3.0 pip install xformers==0.0.26.post1
2.2.2 pip install xformers==0.0.25.post1
2.2.0 pip install xformers==0.0.24
2.1.2 pip install xformers==0.0.23.post1
2.1.0 pip install xformers==0.0.22.post7
```

孪生神经网络的相关实现：

[https://blog.csdn.net/weixin_44791964/article/details/107406072](https://blog.csdn.net/weixin_44791964/article/details/107406072)

[https://blog.csdn.net/lx_ros/article/details/124439120](https://blog.csdn.net/lx_ros/article/details/124439120)

深度学习500问

[https://github.com/shliang0603/Awesome-DeepLearning-500FAQ](https://github.com/shliang0603/Awesome-DeepLearning-500FAQ)

Gradio常见疑难解答：

如何开启多个gradio对外只有一端口？：两种方法，1、[https://github.com/gradio-app/gradio/issues/2979](https://github.com/gradio-app/gradio/issues/2979) 2、写两个新的fastapi然后把两个gradio的src mount到对应地方

深度学习的学习路线图，包含各大厂的学习资料

[https://github.com/isLinXu/awesome-road-map](https://github.com/isLinXu/awesome-road-map)

这个网站给出了不同模型的排名及其开源代码

[https://paperswithcode.com/](https://paperswithcode.com/)

pytorch底层源码解析（一个很不错的博主）

[https://www.cnblogs.com/rossiXYZ/category/1626268.html?page=5](https://www.cnblogs.com/rossiXYZ/category/1626268.html?page=5)

### 深度学习系统

ML system 入坑指南

[https://zhuanlan.zhihu.com/p/608318764](https://zhuanlan.zhihu.com/p/608318764)

微软出品人工智能系统

[https://github.com/microsoft/AI-System](https://github.com/microsoft/AI-System)

《机器学习系统：设计和实现》（个人觉得很好
[https://openmlsys.github.io/#](https://openmlsys.github.io/#)

MLIR 文章视频汇总（MLIR目的是做一个通用、可复用的编译器框架

[https://zhuanlan.zhihu.com/p/141256429](https://zhuanlan.zhihu.com/p/141256429)

cmu 15-884: Machine Learning Systems

[https://catalyst.cs.cmu.edu/15-884-mlsys-sp21/](https://catalyst.cs.cmu.edu/15-884-mlsys-sp21/)

CMU 10-414/714 Deep Learning Systems Algorithms and Implementation

神课，必修

[https://csdiy.wiki/机器学习系统/CMU10-414/](https://csdiy.wiki/机器学习系统/CMU10-414/)

[https://dlsyscourse.org/](https://dlsyscourse.org/)

cmu Deep Learning Systems

[https://dlsyscourse.org/](https://dlsyscourse.org/)

CSE599W system for ML

CSE 599W - Systems for ML - 辛酸阅读记录 - 清欢守护者的文章 - 知乎
[https://zhuanlan.zhihu.com/p/104649426](https://zhuanlan.zhihu.com/p/104649426)

MIT 6.5940: TinyML and Efficient Deep Learning

[https://efficientml.ai/](https://efficientml.ai/)

[https://efficientml.ai/schedule/](https://efficientml.ai/schedule/)

包括模型压缩、剪枝、量化、神经架构搜索、分布式训练、数据/模型并行化、梯度压缩等技术，以及针对大型语言模型、扩散模型的特定应用加速技术。

Programming Heterogeneous Computing Systems with GPUs and other Accelerators (227-0085-51L)

[https://safari.ethz.ch/projects_and_seminars/doku.php?id=heterogeneous_systems](https://safari.ethz.ch/projects_and_seminars/doku.php?id=heterogeneous_systems)

MiniTorch

MiniTorch is a diy teaching library for machine learning engineers who wish to learn about the internal concepts underlying deep learning systems. It is a pure Python re-implementation of the Torch API designed to be simple, easy-to-read, tested, and incremental. The final library can run Torch code.

[https://minitorch.github.io/](https://minitorch.github.io/)

libtorch 非官方教程

[https://github.com/DataXujing/libtorch_tutorials/tree/main](https://github.com/DataXujing/libtorch_tutorials/tree/main)

### 深度学习部署

GiantPandaCV

国内最好的部署相关公众平台之一，涉及部署的内容比较多且硬核，五星推荐。

[http://giantpandacv.com/resources/](http://giantpandacv.com/resources/)

[http://giantpandacv.com/project/部署优化/](http://giantpandacv.com/project/部署优化/)

ncnn推理框架开发版测试

[https://zhuanlan.zhihu.com/p/458139435](https://zhuanlan.zhihu.com/p/458139435)

Build & Share Delightful Machine Learning Apps

[https://gradio.app/](https://gradio.app/)

Optimum :

Optimum is an extension of 🤗 Transformers that provides a set of performance optimization tools to train and run models on targeted hardware with maximum efficiency.

[https://huggingface.co/docs/optimum/index](https://huggingface.co/docs/optimum/index)

nvidia NGC docker tensorrt

[https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorrt/tags](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorrt/tags)

22.10 cuda118; 22.02版本 cuda 116 ; 21.08版本 cuda114

A tool convert TensorRT engine/plan to a fake onnx

[https://github.com/triple-Mu/TensorRT2ONNX](https://github.com/triple-Mu/TensorRT2ONNX)

Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.

[https://github.com/mosaicml/composer](https://github.com/mosaicml/composer)

tensorrt samples学习文档

[https://docs.nvidia.com/deeplearning/tensorrt/sample-support-guide/index.html#python_samples_section](https://docs.nvidia.com/deeplearning/tensorrt/sample-support-guide/index.html#python_samples_section)

mit 6.S965 course TinyML and Efficient Deep Learning Computing

[https://efficientml.ai/](https://efficientml.ai/)

#### 推理&加速量化框架

ncnn

[https://github.com/Tencent/ncnn](https://github.com/Tencent/ncnn)

ncnn源码阅读学习

[https://blog.csdn.net/sinat_31425585/category_9312419.html](https://blog.csdn.net/sinat_31425585/category_9312419.html)

openvino

[https://space.bilibili.com/38566875](https://space.bilibili.com/38566875)

bbuf老师的onnx学习笔记

[ONNX学习笔记 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/346511883)

TVM官方中文手册

[https://tvm.hyper.ai/docs/](https://tvm.hyper.ai/docs/)

TVM入门笔记整理

[https://github.com/JackonYang/hands-on-tvm](https://github.com/JackonYang/hands-on-tvm)

tensorrt 插件自生成（腾讯TPAT）

[https://github.com/Tencent/TPAT](https://github.com/Tencent/TPAT)

大缺弦的在线onnx转换器

[https://convertmodel.com/](https://convertmodel.com/)

很好的量化工具——PPQ

[https://github.com/openppl-public/ppq](https://github.com/openppl-public/ppq)

ONNX性能测试工具

[https://github.com/ThanatosShinji/onnx-tool](https://github.com/ThanatosShinji/onnx-tool)

A web-based tool for visualizing and analyzing convolutional neural network architectures (or technically, any directed acyclic graph)

[https://dgschwend.github.io/netscope/quickstart.html](https://dgschwend.github.io/netscope/quickstart.html)

前端推理框架相关（还有抱抱脸的js也可以看

[https://morioh.com/p/3e34a2723ab4](https://morioh.com/p/3e34a2723ab4)

阿里的边缘端推理压缩量化框架

[https://github.com/alibaba/TinyNeuralNetwork](https://github.com/alibaba/TinyNeuralNetwork)

Run 🤗 Transformers in your browser!

[https://github.com/xenova/transformers.js](https://github.com/xenova/transformers.js)

an end-to-end DynamIc Shape Compiler project for machine learning workloads

[https://github.com/alibaba/BladeDISC](https://github.com/alibaba/BladeDISC)

Tensor library for machine learning

[https://github.com/ggerganov/ggml](https://github.com/ggerganov/ggml)

#### 实例参考

各种开发版的基础功能调通

[https://blog.csdn.net/sxj731533730](https://blog.csdn.net/sxj731533730)

待测试

[成蹊 - 知乎 (zhihu.com)](https://www.zhihu.com/people/li-li-fu-70/posts)

paddle_to_openvino算子开发

[https://aistudio.baidu.com/aistudio/projectdetail/5241605?channelType=0&channel=0](https://aistudio.baidu.com/aistudio/projectdetail/5241605?channelType=0&channel=0)

高性能推理，TensorRT C++/Python库，tensorrt学习参考

[https://github.com/shouxieai/tensorRT_Pro](https://github.com/shouxieai/tensorRT_Pro)

A lite C++ toolkit of awesome AI models with ONNXRuntime, NCNN, MNN and TNN. YOLOv5, YOLOX, YOLOP, YOLOv6, YOLOR, MODNet, YOLOX, YOLOv7, YOLOv8. MNN, NCNN, TNN, ONNXRuntime.

[https://github.com/DefTruth/lite.ai.toolkit/blob/main/README.zh.md](https://github.com/DefTruth/lite.ai.toolkit/blob/main/README.zh.md)

onxxruntime源码带读

[https://zhuanlan.zhihu.com/p/530925674](https://zhuanlan.zhihu.com/p/530925674)

美团视觉GPU推理服务部署架构优化实践（美团关于GPU的推理部署有很多不错的文章

[https://zhuanlan.zhihu.com/p/605094862](https://zhuanlan.zhihu.com/p/605094862)

NCNN底层源码带读

[https://zhuanlan.zhihu.com/p/588809520](https://zhuanlan.zhihu.com/p/588809520)

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。

[https://github.com/shibing624/text2vec](https://github.com/shibing624/text2vec)

ChatFlow - Personalize your ChatGPT workflows and build the road to automation

[https://github.com/prompt-engineering/chat-flow](https://github.com/prompt-engineering/chat-flow)

达摩院的模型库

[https://www.modelscope.cn/models](https://www.modelscope.cn/models)

trt-samples-for-hackathon-cn(面向 NVIDIA TensorRT 初学者和开发者,提供了 TensorRT 相关学习资料和参考资料、丰富的代码范例)

[https://github.com/NVIDIA/trt-samples-for-hackathon-cn](https://github.com/NVIDIA/trt-samples-for-hackathon-cn)

how-to-optim-algorithm-in-cuda

[https://github.com/BBuf/how-to-optim-algorithm-in-cuda](https://github.com/BBuf/how-to-optim-algorithm-in-cuda)

A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML

[https://github.com/PINTO0309/PINTO_model_zoo](https://github.com/PINTO0309/PINTO_model_zoo)

#### 手写类课程

手写量化、剪枝、蒸馏

[https://github.com/mepeichun/Efficient-Neural-Network-Bilibili](https://github.com/mepeichun/Efficient-Neural-Network-Bilibili)

#### AIGC

webui的安装相关教程合集

[https://cloud.tencent.com/developer/news/1033320](https://cloud.tencent.com/developer/news/1033320)

## python

### **anaconda基础**

- 国内的anaconda镜像下载

[https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/](https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/)

- (windows)anaconda与Jupyter notebook安装教程 (注意，powershell使用anaconda要记得init)

[https://zhuanlan.zhihu.com/p/37093476](https://zhuanlan.zhihu.com/p/37093476)

- (linux)anaconda安装教程
- 下载deb格式的anaconda安装包
- 安装后在终端使用source ~/.bashrc即可在终端看到(base)标识（不要在管理员模式下运行）
- anaconda 换源(记得更换源的时候删去default 以及备份原来的）

[https://blog.csdn.net/qq_33590958/article/details/103291206](https://blog.csdn.net/qq_33590958/article/details/103291206)

- pip -i镜像源合集（个人喜欢用百度的）

[https://www.cnblogs.com/sunnydou/p/5801760.html](https://www.cnblogs.com/sunnydou/p/5801760.html)

- 非conda pip直接换源（conf）

[https://www.runoob.com/w3cnote/pip-cn-mirror.html](https://www.runoob.com/w3cnote/pip-cn-mirror.html)

- requirements.txt的生成教程

[https://www.cnblogs.com/lvjinfeng/articles/16333180.html](https://www.cnblogs.com/lvjinfeng/articles/16333180.html)

- conda与pip虚拟环境导出与转移（方便移植）

[https://blog.csdn.net/weixin_42272869/article/details/122471357](https://blog.csdn.net/weixin_42272869/article/details/122471357)

- conda常见命令和疑难问题解答：

有时候你可能会遇到类似`Solving environment: failed with initial frozen solve. Retrying with flexible solve.`的问题，先耐心等等！让他遍历重试完各个库（我在conda安装cling的时候遇到）

如果还是有问题再按照网上的方法进行更新conda或者重新安装conda。（或者不要在base下安装）

删除虚拟环境：`conda remove -n ENV_NAME —all`

conda更新：`conda update anaconda`

conda所有库更新：`conda update --all`

- 导出自己安装的那些包（freeze是全部！）：使用pipreqs库
- powershell下看不到（base）之类的虚拟库信息，显示出脚本安全问题无法启用，可在powershell管理员模式下输入`Set-ExecutionPolicy -ExecutionPolicy RemoteSigned`即可解决问题。
- 使用pip命令时，报错：_sysconfigdata_x86_64_conda_cos7_linux_gnu.py：[https://blog.csdn.net/weixin_44321570/article/details/128514763](https://blog.csdn.net/weixin_44321570/article/details/128514763)

pip 下载 cache不想默认在主目录：`pip config set global.cache-dir 新目录`

python 生成launch.json调试配置，zpdb库 [https://github.com/LYMDLUT/zpdb](https://github.com/LYMDLUT/zpdb)

awesome项目（包含了绝大部分的python相关资源）

[https://github.com/vinta/awesome-python](https://github.com/vinta/awesome-python)

[http://jobbole.github.io/awesome-python-cn/](http://jobbole.github.io/awesome-python-cn/)

Python Cookbook 3rd Edition

[https://python3-cookbook.readthedocs.io/zh_CN/latest/index.html](https://python3-cookbook.readthedocs.io/zh_CN/latest/index.html)

Python并行编程

[https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/index.html](https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/index.html)

Python 3 标准库实例教程(真正现代、进阶的python教程

[https://learnku.com/docs/pymotw](https://learnku.com/docs/pymotw)

完整的Python大项目模板，如果你想实现一个包含完整的静态检查、单元测试、CI、文档的项目

[https://github.com/waynerv/cookiecutter-pypackage/tree/master](https://github.com/waynerv/cookiecutter-pypackage/tree/master)

pandas教程

[https://pandas.pydata.org/docs/getting_started/install.html](https://pandas.pydata.org/docs/getting_started/install.html)

或者可以看看datawhale的教程

Scipy Lecture Notes//Advanced Python Constructs//Advanced NumP

[http://scipy-lectures.org/index.html](http://scipy-lectures.org/index.html)

SICP Python 描述中文版

[https://wizardforcel.gitbooks.io/sicp-py/content/](https://wizardforcel.gitbooks.io/sicp-py/content/)

opencv图像处理100问，可用来查缺补漏（有些格式问题但不影响

[https://github.com/gzr2017/ImageProcessing100Wen](https://github.com/gzr2017/ImageProcessing100Wen)

有趣的Python爬虫和Python数据分析小项目（有些方法可能因为是3年前的东西会失效

[https://github.com/Alfred1984/interesting-python](https://github.com/Alfred1984/interesting-python)

requests库官方手册（交互常用，主要需理解请求头等）

[https://requests.readthedocs.io/en/latest/user/quickstart/#make-a-request](https://requests.readthedocs.io/en/latest/user/quickstart/#make-a-request)

### 实例项目等

supervisor + gunicorn + flask 高并发的接口 + 完整（标准）的日志部署

[https://zhuanlan.zhihu.com/p/79227989](https://zhuanlan.zhihu.com/p/79227989)

教你阅读 Python 开源项目代码（里面有一些基础开源项目可以参考）

[https://learnku.com/articles/23010/teach-you-to-read-the-python-open-source-project-code](https://learnku.com/articles/23010/teach-you-to-read-the-python-open-source-project-code)

很不错的python状态机（可以画成图）展示工具：

[https://github.com/laike9m/Cyberbrain](https://github.com/laike9m/Cyberbrain)

### 常见问题解答

- Python requests.exceptions.SSLError: EOF occurred in violation of protocol

python3.10开了代理request会出现类似情况，因为新的标准库更新了ssl版本，需要降低或者使用`pip install urllib3==1.25.11`或者request使用的代理改用

```Python
{"http": "http://122.230.151.87:35920", "https": "http://122.230.151.87:35920"}
```

## C与汇编

翁恺的相关视频(入门和进阶)

[https://www.icourse163.org/u/wengkai?userId=318013](https://www.icourse163.org/u/wengkai?userId=318013)

100个GDB小技巧：

[https://github.com/hellogcc/100-gdb-tips](https://github.com/hellogcc/100-gdb-tips)

[https://wizardforcel.gitbooks.io/100-gdb-tips/content/part1.html](https://wizardforcel.gitbooks.io/100-gdb-tips/content/part1.html)

标准库收录网站

[https://www.cplusplus.com/reference/](https://www.cplusplus.com/reference/)

汇编语言在线解析网站

[https://godbolt.org/](https://godbolt.org/)

内联汇编学习

[https://baijiahao.baidu.com/s?id=1722268508697136684](https://baijiahao.baidu.com/s?id=1722268508697136684)

[https://www.jianshu.com/p/1782e14a0766](https://www.jianshu.com/p/1782e14a0766)

"undefined reference to XXX"问题总结

[https://github.com/Captain1986/CaptainBlackboard/blob/master/D%230001-undefined_reference_to_XXX/D%230001.md](https://github.com/Captain1986/CaptainBlackboard/blob/master/D#0001-undefined_reference_to_XXX/D#0001.md)

有关硬件开发（嵌入式）的推荐个人博客列表

[https://github.com/JesseGuoX/DoHard](https://github.com/JesseGuoX/DoHard)

A curated list of C good stuff.

This project does *not* index anything C++-related; only pure C stuff is considered.

[https://github.com/sanbuphy/awesome-c](https://github.com/sanbuphy/awesome-c)

LLVM编译过程

```Bash
wget https://github.com/llvm/llvm-project/releases/download/llvmorg-10.0.0/llvm-10.0.0.src.tar.xz
tar xvJf llvm-10.0.0.src.tar.xz
cd llvm-10.0.0.src
mkdir build
cd build
cmake .. -DLLVM_ENABLE_RTTI:BOOL=ON -DBUILD_SHARED_LIBS:BOOL=OFF -DCMAKE_BUILD_TYPE=Release -DLLVM_TARGETS_TO_BUILD=“X86;NVPTX” -DLLVM_ENABLE_ASSERTIONS=ON
# 如果你想在 NVIDIA Jetson TX2 上进行构建, 请使用 -DLLVM_TARGETS_TO_BUILD="ARM;NVPTX"
make -j 8
sudo make install
# 检查你安装的 LLVM 版本
llvm-config —version # 应该是 10.0.0
```

C语言的jupyter notebook拓展安装：

```Bash
pip install jupyter-c-kernel
install_c_kernel
jupyter kernelspec list
```

## C++

**c++入门学习（看自己兴趣按需索取）**

- 浙大翁恺（简单，适合快速过一遍）：[https://www.bilibili.com/video/BV1dE41167hJ?p=34](https://www.bilibili.com/video/BV1dE41167hJ?p=34)
- 南科大于仕琪（现代化，十分推荐）[https://www.bilibili.com/video/BV1Vf4y1P7pq?p=1](https://www.bilibili.com/video/BV1Vf4y1P7pq?p=1)
- 侯捷老师视频（看完于老师可以无缝衔接，资源就不公开了，推荐看完1、2、3）

可以和c++ primer一起看的更现代的C++教程:

[https://www.learncpp.com/](https://www.learncpp.com/)

c++的jupyter notebook 扩展（用来写小作业）

`conda install -c conda-forge xeus-cling`

`conda install -c conda-forge jupyterlab`

然后输入 jupyter lab 就可以看到有c11到17内核支持的了。

如果想要在vscode使用，只要复制带token的那一大串东西然后在vscode打开jupyter下面找到server连接远程即可。

c++ 在线测试：

[https://cpp.sh/](https://cpp.sh/)

各类语言在线解析网站，包括汇编调试和各种C++标准下的insight函数

[https://godbolt.org/](https://godbolt.org/)

Composer is a PyTorch library that enables you to train neural networks faster, at lower cost, and to higher accuracy.

awesome项目（包含了绝大部分的c++相关资源）

[https://github.com/fffaraz/awesome-cpp](https://github.com/fffaraz/awesome-cpp)

[http://jobbole.github.io/awesome-python-cn/](http://jobbole.github.io/awesome-python-cn/)

C++查看算法原理

[https://hackingcpp.com/cpp/std/algorithms.html](https://hackingcpp.com/cpp/std/algorithms.html)

cmake 快速编译安装：

前往官网下载最新发行版：[https://cmake.org/download/](https://cmake.org/download/) 然后如下运行即可：

```Bash
#卸载旧版本
sudo apt-get autoremove cmake

#安装新版本
./configure
make -j20
sudo make install

#如果此时cmake --verion 没有变化或者不存在，把下面这个加入程序到环境变量即可
vim ~/.bashrc
# export PATH=/usr/local/share/cmake-3.25:$PATH
source ~/.bashrc

```

Modern CMake 简体中文版

[https://modern-cmake-cn.github.io/Modern-CMake-zh_CN/](https://modern-cmake-cn.github.io/Modern-CMake-zh_CN/)

cmakelist生成的makefile调试用make VERBOSE=1 而不是 make -nb

cmake快速入门

[https://juejin.cn/post/6844903557183832078](https://juejin.cn/post/6844903557183832078)

CMake菜谱（CMake Cookbook中文版）（面向实际应用小工具，推荐）

[https://www.bookstack.cn/read/CMake-Cookbook/README.md](https://www.bookstack.cn/read/CMake-Cookbook/README.md)

cmake原理及其新手入门（知乎上的不错的文章

[https://zhuanlan.zhihu.com/p/620839692](https://zhuanlan.zhihu.com/p/620839692)

C++ reference（字典）

[https://en.cppreference.com/w/](https://en.cppreference.com/w/)

c++并发编程

[https://paul.pub/cpp-concurrency/](https://paul.pub/cpp-concurrency/)

双笙子佯谬图形学大佬，Zeno和Taichi Blend的作者（by小彭老师

[https://space.bilibili.com/263032155](https://space.bilibili.com/263032155)

高性能并行编程与优化（by小彭老师

[https://github.com/parallel101/course](https://github.com/parallel101/course)

C++ Core Guidelines

[https://github.com/isocpp/CppCoreGuidelines](https://github.com/isocpp/CppCoreGuidelines)

Google C++ Style Guide

[https://google.github.io/styleguide/cppguide.html](https://google.github.io/styleguide/cppguide.html)

c++手写数据库练习 CMU 15-445: Database Systems

[https://csdiy.wiki/数据库系统/15445/](https://csdiy.wiki/数据库系统/15445/)

C++ Standard Draft Sources（一起成为语言律师）

[https://github.com/cplusplus/draft](https://github.com/cplusplus/draft)

详细的C/C++编程规范指南，由360质量工程部编著，适用于桌面、服务端及嵌入式软件系统。

[https://github.com/Qihoo360/safe-rules](https://github.com/Qihoo360/safe-rules)

程序可移植性保证cmake。可获取系统信息、编译器、平台、指令集等信息。

[https://www.bookstack.cn/read/CMake-Cookbook/content-chapter2-2.5-chinese.md](https://www.bookstack.cn/read/CMake-Cookbook/content-chapter2-2.5-chinese.md)

c++的那些事（合集了一些c++的相关小技巧和资料的开源仓库

[https://github.com/Light-City/CPlusPlusThings](https://github.com/Light-City/CPlusPlusThings)

bazel的安装最佳实践：

官方github的release找到bash然后下载运行即可（如果安装到用户权限需要把用户的bin地址加到环境变量）

protobuf安装最佳实践（不是官网编译安装）

`sudo apt install libprotobuf-dev protobuf-compiler`

### C++项目相关

DJI thermal analysis tool 相关教程（日文

[https://qiita.com/tutu/items/b5cf2b39dd30786d9064](https://qiita.com/tutu/items/b5cf2b39dd30786d9064)

TinyWebServer

[https://github.com/qinguoyi/TinyWebServer/tree/master](https://github.com/qinguoyi/TinyWebServer/tree/master)

btop （实现一个硬件检测工具）

[https://github.com/aristocratos/btop](https://github.com/aristocratos/btop)

内存泄露咋办？

先看监控一两周的情况。。实在不行上 ASAN Valgrind等

### 音视频相关

音视频原理必看国内大神-雷神

[https://blog.csdn.net/leixiaohua1020/article/details/18893769](https://blog.csdn.net/leixiaohua1020/article/details/18893769)

ffmpeg原理罗上文

[https://ffmpeg.xianwaizhiyin.net/cover.html](https://ffmpeg.xianwaizhiyin.net/cover.html)

## 程序性能优化

性能优化实战收集（包括听风扇声音测性能）

[https://github.com/plantegg/programmer_case](https://github.com/plantegg/programmer_case)

byte-unixbench 用于测试linux环境下的benchmark测试（包括云服务器）

[https://github.com/kdlucas/byte-unixbench](https://github.com/kdlucas/byte-unixbench)

## 学术论文

查询接受率的网站:

[https://www.openresearch.org/wiki/Main_Page](https://www.openresearch.org/wiki/Main_Page)

LaTeX 图片转代码

[点这里mathF](https://mathf.itewqq.cn/)

[https://web.baimiaoapp.com/image-to-latex](https://web.baimiaoapp.com/image-to-latex)

LaTeX手写字符识别（不知道字符的代码是什么的时候）

[http://detexify.kirelabs.org/classify.html](http://detexify.kirelabs.org/classify.html)

LaTeX开源OCR方案

[https://github.com/lukas-blecher/LaTeX-OCR](https://github.com/lukas-blecher/LaTeX-OCR)

论文翻译

[https://tongtianta.site/](https://tongtianta.site/)

一文网尽CV/Robotics顶会论文常用高级词汇/句式！ by 叶小飞（推荐关注）

[https://zhuanlan.zhihu.com/p/415926905](https://zhuanlan.zhihu.com/p/415926905)

AI论文检索

[https://elicit.org/](https://elicit.org/)

AI阅读论文

[https://www.aminer.cn/](https://www.aminer.cn/)

## 其他日常使用网站

有关思维导图的代码（类似markdown）生成：

[https://xzmind.xuanzi.ltd/apps.html](https://xzmind.xuanzi.ltd/apps.html)

流程图绘制：

[https://app.diagrams.net/](https://app.diagrams.net/)

json可视化：

[https://c.runoob.com/front-end/53/](https://c.runoob.com/front-end/53/)

快速文件传输（随意分享给人不用网盘）(拷贝兔也可以）

[https://www.wenshushu.cn/](https://www.wenshushu.cn/)

偏极客的新闻网，无广告，而且有一套防刷热度算法，也不搞推荐算法

[https://news.ycombinator.com/news](https://news.ycombinator.com/news)

快速拼接图像和其他常用图片处理工具

[http://www.atoolbox.net/Tool.php?Id=978](http://www.atoolbox.net/Tool.php?Id=978)

黑白照片上色

[https://palette.fm/](https://palette.fm/)

让你“爱”上 GitHub，解决访问时图裂、加载慢的问题。（无需安装）

[https://github.com/521xueweihan/GitHub520](https://github.com/521xueweihan/GitHub520)

利用学生、教职工身份可以享受到的相关学生优惠、教育优惠或教师优惠的权益合集

[https://github.com/ivmm/Student-resources](https://github.com/ivmm/Student-resources)

免费好用的图床

[https://imgur.com/](https://imgur.com/)

pdf24 免费操作pdf文件

[https://tools.pdf24.org/zh/all-tools](https://tools.pdf24.org/zh/all-tools)

在线生成透明ICO图标

[https://www.ico51.cn/](https://www.ico51.cn/) 或者 [https://tool.lu/favicon/](https://tool.lu/favicon/)

数以千计的免费svg/ico图标

[https://icon-icons.com/zh/](https://icon-icons.com/zh/)

免费的 svg 大图图标

[https://undraw.co/illustrations](https://undraw.co/illustrations)

svg在线编辑器

[http://www.zuohaotu.com/svg/](http://www.zuohaotu.com/svg/)、

Software Download Hub 纯净的软件下载区

[https://www.fosshub.com/](https://www.fosshub.com/)

查看开源项目的数据以及自己的个人数据（比如年度pr数量）：

[https://ossinsight.io/](https://ossinsight.io/)

常用的在线avif格式转换器

[https://convertio.co/zh/formats/avif/](https://convertio.co/zh/formats/avif/)

在线图片批量缩放网站 birme

[https://www.birme.net/?target_height=640](https://www.birme.net/?target_height=640)

方便找素材的照片素材网站

[https://pixabay.com/photos/](https://pixabay.com/photos/)

[https://stockup.sitebuilderreport.com/](https://stockup.sitebuilderreport.com/)

[https://www.shopify.com/stock-photos](https://www.shopify.com/stock-photos)

各类开源工具收录的网站HelloGitHub

[https://hellogithub.com/](https://hellogithub.com/)

Machine Learning Engineering Online Book:

An open collection of methodologies to help with successful training of large language models and multi-modal models.

[https://github.com/stas00/ml-engineering](https://github.com/stas00/ml-engineering)

excel表格转为markdown格式互转

[https://tableconvert.com/zh-cn/excel-to-markdown#google_vignette](https://tableconvert.com/zh-cn/excel-to-markdown#google_vignette)

4k电影截图

[https://highdefdiscnews.com/4k-screenshots/](https://highdefdiscnews.com/4k-screenshots/)

arxiv 总结推送

[https://papers.cool/](https://papers.cool/)

the latest advances in MM-LLMs.

[https://mm-llms.github.io/](https://mm-llms.github.io/)

## 有趣的项目

在自己电脑运行Stable Diffusion和完整项目下载

[https://mp.weixin.qq.com/s/syEkqbBSmTwdi_cPB6Kd3g](https://mp.weixin.qq.com/s/syEkqbBSmTwdi_cPB6Kd3g)

StableDiffusion Int8量化教程与ONNX导出推理

[https://mp.weixin.qq.com/s/18EIga7w9y1FG0oWcnysIw](https://mp.weixin.qq.com/s/18EIga7w9y1FG0oWcnysIw)

ChatGPT 中文调教指南

[https://github.com/PlexPt/awesome-chatgpt-prompts-zh](https://github.com/PlexPt/awesome-chatgpt-prompts-zh)

CodeGeeX: 多语言代码生成模型（代码生成与代码翻译）

[https://github.com/THUDM/CodeGeeX/blob/main/README_zh.md](https://github.com/THUDM/CodeGeeX/blob/main/README_zh.md)

Whisper AI剪视频小工具

[https://www.bilibili.com/video/BV1Pe4y1t7de/](https://www.bilibili.com/video/BV1Pe4y1t7de/)

[https://github.com/mli/autocut/](https://github.com/mli/autocut/)

“Codeium - a tool that helps developers make changes in unfamiliar languages or codebases”

[https://www.codeium.com/playground](https://www.codeium.com/playground)

Turn your pandas dataframe into a Tableau-style User Interface for visual analysis（简单可视化数据分析）

[https://github.com/Kanaries/pygwalker](https://github.com/Kanaries/pygwalker)

利用chatgpt生成mermaid语言然后导入即可生成流程图

[https://mermaid-js.github.io/mermaid-live-editor/edit](https://mermaid-js.github.io/mermaid-live-editor/edit)

免费可用Typora Markdown

[https://babudiu.com/archives/typora](https://babudiu.com/archives/typora)

Github下载很慢，用上了这个插件后，下载速度嗖嗖嗖的

[https://github.com/fhefh2015/Fast-GitHub](https://github.com/fhefh2015/Fast-GitHub)

硬盘空间分析工具spacesniffer

[https://sourceforge.net/projects/spacesniffer/](https://sourceforge.net/projects/spacesniffer/)

开源下载工具

[https://motrix.app/download](https://motrix.app/download)

微软的免费用户行为洞察埋点工具

[https://clarity.microsoft.com/](https://clarity.microsoft.com/)

## PPT之神

各种软件架构图

[https://www.iodraw.com/template?pn=3](https://www.iodraw.com/template?pn=3)

## 有趣的故事

谷歌背后的数学

[https://www.changhai.org/articles/technology/misc/google_math.php](https://www.changhai.org/articles/technology/misc/google_math.php)

火光摇曳(数学科普) Rickjin(靳志辉) （非常好传递了统计之美）

[https://uploads.cosx.org/2014/07/gamma.pdf](https://uploads.cosx.org/2014/07/gamma.pdf)

计算的极限

[https://fwjmath.wordpress.com/recommended-list/](https://fwjmath.wordpress.com/recommended-list/)

## 心理健康建设

如何在工作中学习（好的方法论）

[https://plantegg.github.io/2018/05/24/如何在工作中学习V1.1/](https://plantegg.github.io/2018/05/24/如何在工作中学习V1.1/)

2017年买房经历总结出来的买房购房知识

[https://github.com/houshanren/hangzhou_house_knowledge](https://github.com/houshanren/hangzhou_house_knowledge)

2022年杭州购房指南

[github.com/zkqiang/hangzhou-house-guide](http://github.com/zkqiang/hangzhou-house-guide)

2020年11月上海购房指南

[github.com/ayuer/shanghai_house_knowledge](http://github.com/ayuer/shanghai_house_knowledge)

## 开源工具推荐

跨平台的桌面截图 Flameshot

[https://flameshot.org/](https://flameshot.org/)

跨平台的类似ps的修图软件 gimp

[https://www.gimp.org/](https://www.gimp.org/)

跨平台的看图工具

[xnview.com/en/xnviewmp/](http://xnview.com/en/xnviewmp/)

最好的windows下b站下载器

[https://space.bilibili.com/1608325226](https://space.bilibili.com/1608325226)

windows下的bilibli视频下载器（如果要使用ffmpeg，可以下载后加入到系统path环境变量）

[https://github.com/nICEnnnnnnnLee/BilibiliDown](https://github.com/nICEnnnnnnnLee/BilibiliDown)

跨平台 Fast and simple video download library and CLI tool written in Go(适合多种网站)

[https://github.com/iawia002/lux](https://github.com/iawia002/lux)

跨平台视频硬字幕提取，生成srt文件。无需申请第三方API，本地实现文本识别。基于深度学习的视频字幕提取框架，包含字幕区域检测、字幕内容提取

[https://github.com/YaoFANGUK/video-subtitle-extractor](https://github.com/YaoFANGUK/video-subtitle-extractor)

一个跨平台的划词翻译软件pot

[https://github.com/pot-app/pot-desktop](https://github.com/pot-app/pot-desktop)

tabby 最好的开源终端之一

[https://tabby.sh/](https://tabby.sh/)

windows下开源录制工具Capture Screen, Audio, Cursor, Mouse Clicks and Keystrokes

[https://github.com/MathewSachin/Captura](https://github.com/MathewSachin/Captura)

kazam ubuntu下最轻便的录制工具，可以直接apt install kazam

油管视频下载器：

[https://github.com/Tyrrrz/YoutubeDownloader](https://github.com/Tyrrrz/YoutubeDownloader)

[https://youtubemultidownloader.net/playlists.html](https://youtubemultidownloader.net/playlists.html)

最好的免费pdf处理开源程序

[https://github.com/torakiki/pdfsam](https://github.com/torakiki/pdfsam)

开源版本的按键精灵

[https://github.com/taojy123/KeymouseGo](https://github.com/taojy123/KeymouseGo)

开源视频录制、git录制

[https://github.com/NickeManarin/ScreenToGif](https://github.com/NickeManarin/ScreenToGif)

最好的windows开源OCR软件

[https://github.com/hiroi-sora/Umi-OCR](https://github.com/hiroi-sora/Umi-OCR)

开源视频编辑器

[https://github.com/OpenShot/openshot-qt/releases/tag/v3.1.1](https://github.com/OpenShot/openshot-qt/releases/tag/v3.1.1)

优雅的图片浏览器

[https://imageglass.org/](https://imageglass.org/)

开源、重复图片和文件搜索神器

[https://github.com/qarmin/czkawka/releases/tag/7.0.0](https://github.com/qarmin/czkawka/releases/tag/7.0.0)

## startup协作工具

Ship your startup in days,not weeks

[https://shipfa.st/](https://shipfa.st/) 包含一切所需的前后端健权等

## 英文论文好用工具

TextRanch 句子参考

[https://textranch.com/](https://textranch.com/)

QuillBot 文段改写

[https://quillbot.com/](https://quillbot.com/)