https://github.com/cluebenchmark/kgcluebench
benchmark of KgCLUE, with different models and methods
https://github.com/cluebenchmark/kgcluebench
Last synced: 8 months ago
JSON representation
benchmark of KgCLUE, with different models and methods
- Host: GitHub
- URL: https://github.com/cluebenchmark/kgcluebench
- Owner: CLUEbenchmark
- Created: 2021-11-30T13:56:18.000Z (over 4 years ago)
- Default Branch: main
- Last Pushed: 2021-12-13T14:02:07.000Z (over 4 years ago)
- Last Synced: 2025-05-05T14:52:00.506Z (about 1 year ago)
- Language: Python
- Size: 270 KB
- Stars: 27
- Watchers: 2
- Forks: 4
- Open Issues: 3
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
[toc]
# KgClue_Bench
尽最大能力解耦代码，为NLP新手提供(BERT)学习平台
## 目录结构
├─algorithm # 算法
│ └─kg_qa # 算法开发示例
│ │ config.py
│ ├─KG 每个模块对应一个package
│ │ │ es.py # 将知识库导入es的脚本
│ │ │ KgAnswer.py # 回答问题类
│ │ │ KgEval.py# 回答问题的准确度评估方法
│ │ │ KgPredict.py# 针对test.json文件生成预测结果，手动压缩之后可以提交到官网进行评估
│ ├─NER
│ │ │ DataMaking.py# NER训练数据集的制作脚本
│ │ │ EntityExtract.py# 将序列标注标签转化为实体
│ │ │ Eval.py# 评估代码（输出f1）
│ │ │ Predict.py# 预测类
│ │ │ TrainAndValid.py# 训练代码
├─bert 谷歌官方Bert代码存放
│ │ .gitignore
├─pretraining_model # 存放bert的预训练模型
│ ├─chinese_rbt3_L-3_H-768_A-12 #存放示例
├─raw_data # 数据集推荐添加方式,直接解压
│ ├─kgClue # kg_qa项目中适配的数据集
│ │ │ xxx.json
│ │ └─knowledge # 知识库
│ │ Knowledge.txt
└─utils
## 算法排行
### **kg_qa任务** 以kgClue为训练数据集，旨在回答知识库中的问题
> #### 不同算法结构性能比较(以chinese_rbtl3_L-3_H-1024_A-16为预训练模型)
> 这里的评估是以问题回答准确度作为标准
>
>Model | F1 | EM |
>:----:| :----: |:----: |
>bert-crf | 70.7 | 70.7 |
>bert-lstm-crf | 63.9 | 63.6 |
#### 不同预训练模型性能比较(不代表每个模型的最佳性能)
NER (bert+crf) seq_lan=32 epoch=5
| pretraining_model | batch | micro-f1| macro-f1| f1(##WordPiece) |f1(B-NP/I-NP)|
| ----------- | ----------- | ----------- | ----------- | ----------- | ----------- |
| chinese_rbt3_L-3_H-768_A-12 | 40 | 93.1| 88.0 | 61.0 | 79.0 |
| chinese_rbt4_L-4_H-768_A-12 | 40 | 92.0 | 87.0 | 62.0 | 75.0 |
| chinese_rbt6_L-6_H-768_A-12 | 40 | 93.0 | 88.0 | 61.0 | 77.0 |
| chinese_rbtl3_L-3_H-1024_A-16 | 40 | 93.0 | 89.0 | 66.0 | 77.0 |
| chinese_wwm_ext_L-12_H-768_A-12 | 40 | 93.0 | 88.0 | 63.0 | 77.0 |
SIM (bert) seq_lan=64 epoch=5
| pretraining_model | batch | accuracy| precision| recall |macro-f1|
| ----------- | ----------- | ----------- | ----------- | ----------- | ----------- |
| chinese_rbt3_L-3_H-768_A-12 | 40 | 86.0| 44.3 | 2.0 | 49.0 |
| chinese_rbt4_L-4_H-768_A-12 | 40 | 93.5 | 78.3 | 73.1 | 85.9 |
| chinese_rbt6_L-6_H-768_A-12 | 40 | 93.8 | 79.2 | 74.9 | 86.7 |
| chinese_rbtl3_L-3_H-1024_A-16 | 40 |96.5 |86.4| 89.1| 92.9 |
| chinese_wwm_ext_L-12_H-768_A-12 | 40 | 95.5| 82.1| 86.6 | 90.9 |
## 使用示例
### 以 **kg_qa** 算法为例
> 该项目下有三个文件夹KG\NER\SIM
#### NER
1. python DataMaking.py **注意**: 1. 文件路径 2.脚本work路径,应该以整个KgCLUEBench为项目根目录运行
2. python TrainAndValid.py **注意** :训练之前设置好kg_qa目录下的config配置,其他注意点同上
3. python Precit.py 验证是否正常运行
4. python Eval.py 得出模型的评估结果,可以在训练时间段Eval模型,查看训练效果
5. python EntityExtract.py 将序列标注结果(Predict结果)转化为句子中的实体
#### SIM 同理
1. python DataMaking.py **注意**: 1. 文件路径 2.脚本work路径,应该以整个KgCLUEBench为项目根目录运行
2. python TrainAndValid.py **注意** :训练之前设置好kg_qa目录下的config配置,其他注意点同上
3. python Precit.py 验证是否正常运行
4. python Eval.py 得出模型的评估结果,可以在训练时间段Eval模型,查看训练效果
#### KG
1. es.py是将知识库（这里是Knowledge.txt）导入es系统的脚本文件，只需要执行一次
2. KgAnswer.py是回答问题的类，只需要输入一个句子，即可给出结果
3. KgEval是评估问题回答能力的代码，修改文件路径即可使用
4. KgPredict是回答test.json的代码，运行完成可以生成kgclue_predict.txt，用户压缩成zip文件之后可以直接提交至clue官网。
## algorithm 贡献方法
> 在此目录下直接命名一个新的python包包含init和config文件
> 不同算法可能有多个stage，不同stage建议使用独立的python包，多个stage共享一个config
## UPDATE
******* 2021-12-3,新项目开荒
******* 2021-12-12,完整流程测试通过
## 有问题联系1194370384@qq.com