https://github.com/Aegis1863/LLMs-Distillation-Quantification

Repo of "Quantification of Large Language Model Distillation"
https://github.com/Aegis1863/LLMs-Distillation-Quantification

distillation llms quantification

Last synced: 21 days ago
JSON representation

Repo of "Quantification of Large Language Model Distillation"

• Host: GitHub
• URL: https://github.com/Aegis1863/LLMs-Distillation-Quantification
• Owner: Aegis1863
• Created: 2025-01-21T03:37:05.000Z (3 months ago)
• Default Branch: main
• Last Pushed: 2025-02-18T16:06:52.000Z (2 months ago)
• Last Synced: 2025-03-25T12:15:48.035Z (about 1 month ago)
• Topics: distillation, llms, quantification
• Language: Python
• Homepage: https://arxiv.org/abs/2501.12619
• Size: 44.8 MB
• Stars: 73
• Watchers: 1
• Forks: 4
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• StarryDivineSky - Aegis1863/LLMs-Distillation-Quantification - Distillation-Quantification项目是关于大型语言模型（LLMs）蒸馏和量化的研究。它旨在探索如何通过蒸馏技术将大型模型的知识迁移到更小的模型中，并进一步通过量化技术压缩模型大小，以降低部署成本和提高推理速度。该项目可能包含蒸馏和量化的具体实现代码、实验数据以及相关分析。项目特色可能包括对不同蒸馏和量化方法的比较，以及针对特定任务的优化策略。通过蒸馏，可以将大型模型的泛化能力和知识传递给小型模型。量化则通过降低模型参数的精度来减少模型大小，例如将浮点数转换为整数。该项目可能涉及到的技术包括知识蒸馏、模型量化、以及相关的深度学习框架（如PyTorch或TensorFlow）。该项目可能对研究如何高效部署大型语言模型具有参考价值。 (A01_文本生成_文本对话 / 大语言对话模型及数据)