https://github.com/ridgerchu/matmulfreellm

Implementation for MatMul-free LM.
https://github.com/ridgerchu/matmulfreellm

large-language-model linear-transformer llm

Last synced: about 2 months ago
JSON representation

Implementation for MatMul-free LM.

• Host: GitHub
• URL: https://github.com/ridgerchu/matmulfreellm
• Owner: ridgerchu
• License: apache-2.0
• Created: 2024-04-23T20:44:31.000Z (5 months ago)
• Default Branch: master
• Last Pushed: 2024-06-27T23:11:50.000Z (3 months ago)
• Last Synced: 2024-06-28T01:22:02.309Z (3 months ago)
• Topics: large-language-model, linear-transformer, llm
• Language: Python
• Homepage:
• Size: 1.56 MB
• Stars: 2,469
• Watchers: 36
• Forks: 138
• Open Issues: 13
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

• awesome - ridgerchu/matmulfreellm - Implementation for MatMul-free LM. (Python)
• StarryDivineSky - ridgerchu/matmulfreellm - Free LM 是一种语言模型架构，无需矩阵乘法 （MatMul） 运算。此存储库提供了与 🤗 Transformers 库兼容的 MatMul-Free LM 实现。我们评估了缩放定律如何拟合 Transformer++ 和我们的模型中的 370M、1.3B 和 2.7B 参数模型。为了公平比较，每个操作的处理方式相同，尽管我们的模型在某些层中使用了更有效的三元权重。有趣的是，与 Transformer++ 相比，我们模型的缩放投影表现出更陡峭的下降，这表明我们的架构在利用额外计算来提高性能方面更有效。 (文本生成、文本对话 / 大语言对话模型及数据)