Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/Socialbird-AILab/BERT-Classification-Tutorial


https://github.com/Socialbird-AILab/BERT-Classification-Tutorial

Last synced: 6 days ago
JSON representation

Awesome Lists containing this project

README

        

# BERT-Classification-Tutorial
标注数据,可以说是AI模型训练里最艰巨的一项工作了。自然语言处理的数据标注更是需要投入大量人力。相对计算机视觉的图像标注,文本的标注通常没有准确的标准答案,对句子理解也是因人而异,让这项工作更是难上加难。
但是!谷歌最近发布的BERT大大的解决了这个问题!根据我们的实验,BERT在文本多分类的任务中,能在极小的数据下,带来显著的分类准确率提升。并且,实验主要对比的是仅仅5个月前发布的State of the art 语言模型迁移学习模型 - ULMFiT (https://arxiv.org/abs/1801.06146), 结果有着明显的提升。

![alt text](https://github.com/Socialbird-AILab/BERT-Classification-Tutorial/blob/master/pictures/Results.png)

从上图我们可以看出,在不同的数据集中,BERT都有非常出色的表现。我们用的实验数据分为1000、 6700 和 12000 条,并且各自包含了测试数据,训练测试分割为80%-20%。数据集从多个网页来源获得,并经过了一系列的分类映射。但Noisy数据集带有较为显著的噪音,抽样统计显示噪音比例在20%左右。实验对比了几个模型,从最基础的卷积网络作为Baseline,到卷积网络加上传统的词向量Glove embedding, 然后是ULMFiT和BERT。

# 1.运行环境
Tensorflow版本为Windows 1.10.0 GPU,具体安装教程可以参考此链接https://www.tensorflow.org/install/pip?lang=python3。Anaconda 版本为1.9.2 。

# 2.硬件配置
实验用的机器显卡为NVIDIA GeoForce GTX 1080 Ti,BERT base 模型占用显存约为9.5G。

# 3.下载模型
所有的运行环境设置好后,在这里可以下载到我们实验用的BERT base: https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
下载完后,放在 BERT_BASE_DIR 中。

# 4.输入数据准备
我们需要将文本数据分为三部分:
" Train: train.tsv
" Evaluate: dev.tsv
" Test: test.tsv
下面可以看到每个文件的格式,非常简单,一列为需要做分类的文本数据,另一列则是对应的Label。

data文件夹中包含了1000条10分类的样本数据,并分为训练和测试集。

![alt text](https://github.com/Socialbird-AILab/BERT-Classification-Tutorial/blob/master/pictures/Our%20data%20example.png)

# 5.实现细节
运行run_classifier.py实现1000条10分类样本数据的文本分类任务。具体实现细节请参考教程:https://mp.weixin.qq.com/s/XmeDjHSFI0UsQmKeOgwnyA