https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch

使用Bert，ERNIE，进行中文文本分类
https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch

Last synced: 3 months ago
JSON representation

使用Bert，ERNIE，进行中文文本分类

• Host: GitHub
• URL: https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch
• Owner: 649453932
• License: mit
• Created: 2019-07-15T12:08:59.000Z (over 5 years ago)
• Default Branch: master
• Last Pushed: 2023-07-02T04:17:03.000Z (over 1 year ago)
• Last Synced: 2024-06-14T01:42:19.009Z (5 months ago)
• Language: Python
• Homepage:
• Size: 5.95 MB
• Stars: 3,807
• Watchers: 20
• Forks: 881
• Open Issues: 147
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

• StarryDivineSky - 649453932/Bert-Chinese-Text-Classification-Pytorch

README

        
# Bert-Chinese-Text-Classification-Pytorch

[![LICENSE](https://img.shields.io/badge/license-Anti%20996-blue.svg)](https://github.com/996icu/996.ICU/blob/master/LICENSE)

中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。

## 介绍

模型介绍、数据流动过程：~~还没写完，写好之后再贴博客地址。~~ 工作忙，懒得写了，类似文章有很多。

机器：一块2080Ti ， 训练时间：30分钟。  

## 环境

python 3.7  

pytorch 1.1  

tqdm  

sklearn  

tensorboardX  

~~pytorch_pretrained_bert~~(预训练代码也上传了, 不需要这个库了)  

## 中文数据集

我从[THUCNews](http://thuctc.thunlp.org/)中抽取了20万条新闻标题，已上传至github，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。

类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。

数据集划分：

数据集|数据量

--|--

训练集|18万

验证集|1万

测试集|1万

### 更换自己的数据集

 - 按照我数据集的格式来格式化你的中文数据集。  

## 效果

模型|acc|备注

--|--|--

bert|94.83%|单纯的bert

ERNIE|94.61%|说好的中文碾压bert呢  

bert_CNN|94.44%|bert + CNN  

bert_RNN|94.57%|bert + RNN  

bert_RCNN|94.51%|bert + RCNN  

bert_DPCNN|94.47%|bert + DPCNN  

原始的bert效果就很好了，把bert当作embedding层送入其它模型，效果反而降了，之后会尝试长文本的效果对比。

CNN、RNN、DPCNN、RCNN、RNN+Attention、FastText等模型效果，请见我另外一个[仓库](https://github.com/649453932/Chinese-Text-Classification-Pytorch)。  

## 预训练语言模型

bert模型放在 bert_pretain目录下，ERNIE模型放在ERNIE_pretrain目录下，每个目录下都是三个文件：

 - pytorch_model.bin  

 - bert_config.json  

 - vocab.txt  

预训练模型下载地址：  

bert_Chinese: 模型 https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz  

              词表 https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt  

来自[这里](https://github.com/huggingface/pytorch-transformers)   

备用：模型的网盘地址：https://pan.baidu.com/s/1qSAD5gwClq7xlgzl_4W3Pw

ERNIE_Chinese: http://image.nghuyong.top/ERNIE.zip  

来自[这里](https://github.com/nghuyong/ERNIE-Pytorch)  

备用：网盘地址：https://pan.baidu.com/s/1lEPdDN1-YQJmKEd_g9rLgw  

解压后，按照上面说的放在对应目录下，文件名称确认无误即可。  

## 使用说明

下载好预训练模型就可以跑了。

```

# 训练并测试：

# bert

python run.py --model bert

# bert + 其它

python run.py --model bert_CNN

# ERNIE

python run.py --model ERNIE

```

### 参数

模型都在models目录下，超参定义和模型定义在同一文件中。  

## 未完待续

 - 封装预测功能

## 对应论文

[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding  

[2] ERNIE: Enhanced Representation through Knowledge Integration