https://github.com/datawhalechina/llm-deploy
大模型/LLM推理和部署理论与实践
https://github.com/datawhalechina/llm-deploy
knowledge-distillation llm llm-deploy lora pruning quantization
Last synced: 2 months ago
JSON representation
大模型/LLM推理和部署理论与实践
- Host: GitHub
- URL: https://github.com/datawhalechina/llm-deploy
- Owner: datawhalechina
- Created: 2024-01-14T05:39:30.000Z (about 2 years ago)
- Default Branch: main
- Last Pushed: 2025-07-14T07:04:09.000Z (9 months ago)
- Last Synced: 2025-11-02T21:03:06.184Z (5 months ago)
- Topics: knowledge-distillation, llm, llm-deploy, lora, pruning, quantization
- Homepage: https://datawhalechina.github.io/llm-deploy
- Size: 100 MB
- Stars: 354
- Watchers: 4
- Forks: 49
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# LLM-Deploy
本教程主要侧重于模型/LLM推理和部署理论与实践，旨在成为你掌握LLM推理与部署艺术的伙伴，无论你是初涉此领域的新人，还是寻求深化专业技能的资深人士，都能在此找到通往成功部署大型语言模型的关键路径。
## 立项理由
弥补推理和部署方面的缺乏。为更多对本领域感兴趣的同学或行业内外从业人员提供一个不错的入门资料。
## 项目受众
- 算法工程师。
- 对推理部署感兴趣的同学。
## 项目亮点
1. 推理部署相关理论与实践。
2. 模型和服务优化实战。
3. 多位有实践经验工程师综合输出。
## 参与贡献
- 如果你想参与到项目中来欢迎查看项目的 [Issue]() 查看没有被分配的任务。
- 如果你发现了一些问题，欢迎在 [Issue]() 中进行反馈🐛。
- 如果你对本项目感兴趣想要参与进来可以通过 [Discussion]() 进行交流💬。
如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 [Datawhale 贡献指南](https://github.com/datawhalechina/DOPMC#%E4%B8%BA-datawhale-%E5%81%9A%E5%87%BA%E8%B4%A1%E7%8C%AE)。
如果对于小模型压缩的原理和基础感兴趣，可以参考Datawhale开源项目[Awesome-Compression](https://github.com/datawhalechina/awesome-compression)
## 贡献者名单
| 姓名 | 职责 | 简介 | 视频 |
| :----| :---- | :---- | ----- |
| 长琴、玉立 | 项目负责人 | | |
| 茂林 | 第1章负责人 | 量化 | [链接](https://meeting.tencent.com/crm/2qdyBmG5f8) |
| 宇菲 | 第2章负责人 | 蒸馏 | [链接](https://meeting.tencent.com/crm/lv8wEr8d5e) |
| 玉立 | 第3章负责人 | 剪枝 | [链接](https://meeting.tencent.com/crm/2ZdxyLYl14) |
| 望寅 | 第4章负责人 | 低秩分解 | |
| 舒凡 | 第5章负责人 | 表示 | [链接](https://meeting.tencent.com/crm/NxvPbVzd7d) |
| 春阳 | 第6章负责人 | 运行 | |
| 杨卓 | 第7章负责人 | 框架 | |
| 薛博阳 | 第8章负责人 | 并行 | [链接](https://meeting.tencent.com/crm/Nov91wz2eb) |
| 张泽西 | 第9章负责人 | 并发 | [链接](https://meeting.tencent.com/crm/2YoM9MV3b7) |
| 李太颖 | 第10章负责人 | 内存 | [链接](https://meeting.tencent.com/cw/2r8YoVB597) |
*注：表头可自定义，但必须在名单中标明项目负责人*
## 关注我们
扫描下方二维码关注公众号：Datawhale
## LICENSE
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
*注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议*