https://github.com/loujie0822/Pre-trained-Models

预训练语言模型综述
https://github.com/loujie0822/Pre-trained-Models

Last synced: about 1 month ago
JSON representation

预训练语言模型综述

• Host: GitHub
• URL: https://github.com/loujie0822/Pre-trained-Models
• Owner: loujie0822
• Created: 2019-12-10T09:10:46.000Z (about 5 years ago)
• Default Branch: master
• Last Pushed: 2020-03-25T07:52:35.000Z (over 4 years ago)
• Last Synced: 2024-08-03T23:25:34.533Z (5 months ago)
• Size: 2.76 MB
• Stars: 549
• Watchers: 20
• Forks: 111
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• awesome-machine-learning-resources - **[List - trained-Models?style=social) (Table of Contents)

README

        
# PTMs: Pre-trained-Models in NLP

### NLP预训练模型的全面总结(持续更新中)

## 置顶

知乎文章1:  [全面总结！PTMs：NLP预训练模型](https://zhuanlan.zhihu.com/p/115014536)  ➡️➡️ [图片下载](https://github.com/loujie0822/Pre-trained-Models/blob/master/resources/PTMs.jpg)

知乎文章2：[nlp中的预训练语言模型总结](https://zhuanlan.zhihu.com/p/76912493)

知乎文章3：[nlp中的词向量对比](https://zhuanlan.zhihu.com/p/56382372)



## 1、论文汇总：

PTMs-Papers:

1. https://github.com/thunlp/PLMpapers

2. https://github.com/tomohideshibata/BERT-related-papers

3. https://github.com/cedrickchee/awesome-bert-nlp

4. https://bertlang.unibocconi.it/

5. https://github.com/jessevig/bertviz

## 2. PTMs单模型解读

1. 自监督学习：[Self-Supervised Learning 入门介绍](https://zhuanlan.zhihu.com/p/108625273)

2. 自监督学习：[Self-supervised Learning 再次入门](https://zhuanlan.zhihu.com/p/108906502)

3. 词向量总结：[nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert](https://zhuanlan.zhihu.com/p/56382372)

4. 词向量总结：[从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史](https://zhuanlan.zhihu.com/p/49271699)

5. ELMo解读：[关于ELMo的若干问题整理记录](https://zhuanlan.zhihu.com/p/82602015)

6. BERT解读： [Bert时代的创新：Bert应用模式比较及其它](https://zhuanlan.zhihu.com/p/65470719)

7. XLNET解读：[XLNet:运行机制及和Bert的异同比较](https://zhuanlan.zhihu.com/p/70257427)

8. XLNET解读：[XLnet：比Bert更强大的预训练模型](https://zhuanlan.zhihu.com/p/71759544)

9. RoBERTa解读：[RoBERT: 没错，我就是能更强——更大数据规模和仔细调参下的最优BERT](https://zhuanlan.zhihu.com/p/75629127)

10. 预训练语言模型总结：[nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)](https://zhuanlan.zhihu.com/p/76912493)

11. 预训练语言模型总结：[8篇论文梳理BERT相关模型进展与反思](https://zhuanlan.zhihu.com/p/81157740)

12. ELECTRA解读: [ELECTRA: 超越BERT, 19年最佳NLP预训练模型](https://zhuanlan.zhihu.com/p/89763176)

13. 模型压缩 LayerDrop:[结构剪枝：要个4层的BERT有多难？](https://zhuanlan.zhihu.com/p/93207254)

14. 模型压缩 BERT-of-Theseus:[bert-of-theseus，一个非常亲民的bert压缩方法](https://zhuanlan.zhihu.com/p/112787764)

15. 模型压缩 TinyBERT:[比 Bert 体积更小速度更快的 TinyBERT](https://zhuanlan.zhihu.com/p/94359189)

16. 模型压缩总结：[BERT 瘦身之路：Distillation，Quantization，Pruning](https://zhuanlan.zhihu.com/p/86900556)

（持续更新中...）