Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/open-compass/gaokao-eval
https://github.com/open-compass/gaokao-eval
Last synced: 4 days ago
JSON representation
- Host: GitHub
- URL: https://github.com/open-compass/gaokao-eval
- Owner: open-compass
- Created: 2024-06-13T05:22:54.000Z (5 months ago)
- Default Branch: main
- Last Pushed: 2024-07-17T10:58:18.000Z (4 months ago)
- Last Synced: 2024-07-18T07:43:17.933Z (4 months ago)
- Language: Jupyter Notebook
- Size: 32.2 MB
- Stars: 74
- Watchers: 2
- Forks: 6
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# GAOKAO-Eval
GAOKAO-Eval
# 介绍
高考作为中国最权威的考试之一，覆盖各种学科和题型，旨在综合评估考生的能力。因此可以作为一个极佳的大模型评测，我们选取了在2024年6月6日之前发布的开源模型和当前最先进的大模型GPT-4o在2024年的高考试卷上进行全面的评测。与过去只测试客观题的评测不同，本测试涵盖了高考的各种题型，包括选择题、解答题、阅读题以及作文等，所有主观题均邀请在职高中老师进行评分，以期能够比较全面地评判当前大模型的能力。
因此，GAOKAO-Eval有以下四个特点：
- **全卷考试**：进行全卷评分，而不只针对单一题型，且包括带图的高考题
- **考前开源**：评测覆盖的开源模型均为今年高考前开源的模型，排除泄题的可能性
- **老师打分**：邀请有高考阅卷经验的老师打分，确保评分和高考尽量一致
- **完全公开**：生成答案的代码、模型答卷、评分结果完全开源
> **正如高考分数存在误差，评测也无法做到绝对公平，因此测评中的分数只是一个参考值，为了尽量客观，每个题目我们都邀请了至少三位老师评阅取均分，我们对存在阅卷分差的部分均进行了再次校准。**
> **特别值得注意的是，大模型犯错误的方式和人类考生有差异，从实践上来看阅卷老师们不完全适应给大模型评分，因此存在有题目误判的可能。**
> **此外，我们也注意到，不同的高考试卷对大模型存在较大的分数随机性，因此不同省市的分数或排名可能出现明显变化。**
> **注意，这个测评仅能评估大型语言模型在高考题目上的表现，不能全面评估模型的能力，因此高考分数的排名不能体现模型使用体验的好坏或者能力的高低。**
# 最新进展
- **[2024.07.17]** 完成6个开源模型全国甲卷除了政治外的语数外文综理综八科评测，点击[全国甲卷结果](./results/全国甲卷/README.md)查看详情
- **[2024.07.17]** 完成6个开源模型新课标卷文综理综六科评测，点击[新课标卷结果](./results/新课标/README.md)查看详情；修正新课标Ⅰ卷数学第10题的评测；新增Gradio调用脚本
- **[2024.06.15]** 完成6个开源模型新课标I卷语、数、外三科评测，点击[新课标卷结果](./results/新课标/README.md)查看详情
# 试卷类型
随着高考的改革，2024年全国高考试卷共有六种类型，其中北京卷、上海卷、天津卷、全国甲卷涵盖所有学科，使用新课标I卷、新课标II卷的省市使用对应的语数外试卷，大部分省市非语数外的科目自主命题。在GAOKAO-Eval中，我们测试新课标卷和全国甲卷所有的已公开试卷。
| 试卷类型 | 使用省市 |
|--------------------------------------|---|
| 新课标I卷 | 广东、福建、湖北、湖南、江苏、河北、山东、浙江、江西、安徽、河南 |
| 新课标II卷 | 辽宁、重庆、海南、山西、新疆、广西、贵州、黑龙江、甘肃、吉林、云南、西藏 |
| 新课标卷 | 山西、河南、云南、西藏、新疆 |
| 全国甲卷 | 四川、内蒙古、宁夏、陕西、青海 |
| 北京卷 | 北京市 |
| 上海卷 | 上海市 |
| 天津卷 | 天津市 |
高考模式方面，现行体系主要分为三大类：
- **“3+1+2”新模式**，已被23个省份广泛采纳，此模式围绕语文、数学、外语三大基础学科构建，要求学生在物理与历史中择其一作为首选科目，并从剩余四科（思想政治、地理、化学、生物）中自由选择两科。
- **“3+3”模式**，目前有6个省份采用，在此框架下，学生在完成语、数、外必修后，可从包括思想政治至生物在内的六科中（浙江省额外包含技术科目），自由组合三科作为选修。
- 余下的5个省份依旧沿用**全国甲卷**的文理分科体系，保持了传统分类下的学术评估路径。
# 成绩概要
## 1. 新课标卷
新课标†得分情况(按照理科总分排序)
模型
研发机构
语文
数学
英语
物理
化学
生物
历史
地理
政治
理科总分
文科总分
InternLM-WQX+VL-20B
上海人工智能实验室 & 商汤科技 联合研发
112
74
138.5
39
48
57
82
58
67
468.5
531.5
GPT-4o
OpenAI（美国）
111.5
73
141.5
36
40
65
88
59
58
467
531
Qwen2-72B纯文本
阿里巴巴
124
68
139
42
44
48
85
70
60
465
546
Qwen2-72B+VL-7B
阿里巴巴
124
68
139
19
6
48
85
4
60
404
480
Yi-34B+VL-34B
零一万物
97
31
134.5
21
37
49
48
41
51
369.5
402.5
Qwen2-57B+VL-7B
阿里巴巴
99.5
58
126.5
7
6
51
73
4
62
348
423
GLM4-9B+VL-9B
智谱 AI
86
48
97
18
27
67
80
62
48
343
421
Mixtral 8x22B
Mistral
77.5
21
116.5
25
35
46
54
56
38
321
363
†表示测评使用的是新课标I卷语数外+新课标卷文理综
如果模型名称中含有“+VL”的字样，表明涉及到图片的题目会使用相应的多模态版本模型进行推理；如果没有“+VL”的字样，则只进行不看图的纯文本推理。
各个模型具体的详细得分情况、模型输出，请参阅[新课标卷结果](./results/新课标/README.md)。
## 2. 全国甲卷
全国甲卷得分情况(按照理科总分排序)
模型
研发机构
语文
英语
数学（理）
物理
化学
生物
数学（文）
历史
地理
理科总分
文科总分(缺政治)
Qwen2-72B纯文本
阿里巴巴
128
141
89
32
48
50
95
71
81
488
516
GPT-4o
OpenAI（美国）
122
142.5
84
31
34
72
89
82
66
485.5
501.5
InternLM-WQX+VL-20B
上海人工智能实验室 & 商汤科技 联合研发
111
141
78
30
52
50
71
76
64
462
463
Qwen2-72B+VL-7B
阿里巴巴
128
141
89
22
22
50
95
71
34
452
469
Mixtral 8x22B
Mistral
92
142
58
38
39
54
53
74
74
423
435
GLM4-9B+VL-9B
智谱 AI
108
110.5
71
29
44
55
75
54
62
417.5
409.5
Qwen2-57B+VL-7B
阿里巴巴
108
141
65
6
22
44
75
77
30
386
431
Yi-34B+VL-34B
零一万物
109
107.5
39
15
40
55.5
65
53
54
366
388.5
如果模型名称中含有“+VL”的字样，表明涉及到图片的题目会使用相应的多模态版本模型进行推理；如果没有“+VL”的字样，则只进行不看图的纯文本推理。
各个模型具体的详细得分情况、模型输出，请参阅[全国甲卷结果](./results/全国甲卷/README.md)。
>在打分前，老师们并未被告知答案由大模型生成。
>由于有的模型会存在完全不理解题意导致乱答、重复生成、回答更像解析而非解答的问题，老师们在阅卷过程中基本都会和我们确认这些情况是否是正常情况，我们会要求老师将离谱的错误直接视为答题错误，解析类型的回答以是否包含正确解题过程作为唯一准则。
>一些老师提出，由于全部回答没有卷面，所以在作文的评判上会存在1~2分的误差。
# 模型概览
我们选择来自于阿里巴巴、零一万物、智谱AI、上海人工智能实验室、Mistral和OpenAI的大模型进行评测。
高考题目中存在大量的带图的题目，大语言模型只回答不带图的题目（少部分情况例外），多模态大模型对所有题目进行作答。开源模型中我们只选择在2024年6月6日之前开源的模型，同时选取了目前最强大的大模型GPT-4o作为参考。参与评测大模型的情况如下表所示
| | 研发机构 | 模型类型 | 模型简介 | 权重上传时间 | 模型链接 |
|-----------------------------------|--------------------|----------|----------------------------------------------------------------------|--------------|--------------------------------------------------------------|
| 书生·浦语-文曲星-20B | 上海人工智能实验室 & 商汤科技联合研发 | 语言模型 | 上海人工智能实验室联合商汤科技推出的文曲星系列基础模型。 | 2024.06.04 | [🤗HuggingFace](https://huggingface.co/internlm/internlm2-wqx-20b) |
| 书生·浦语-文曲星-20B-VL | 上海人工智能实验室 & 商汤科技联合研发 | 多模态模型 | 上海人工智能实验室联合商汤科技推出的文曲星系列多模态基础模型。 | 2024.06.04 | [🤗HuggingFace](https://huggingface.co/internlm/internlm2-wqx-vl-20b) |
| Qwen2-72B | 阿里巴巴 | 语言模型 | 由阿里巴巴公司发布的Qwen2系列最大的对话模型。 | 2024.05.28 | [🤗HuggingFace](https://huggingface.co/Qwen/Qwen2-72B-Instruct) |
| Qwen2-57B | 阿里巴巴 | 语言模型 | 由阿里巴巴公司发布的Qwen2系列MoE对话模型。 | 2024.05.04 | [🤗HuggingFace](https://huggingface.co/Qwen/Qwen2-57B-A14B-Instruct) |
| QwenVL-7B | 阿里巴巴 | 多模态模型 | 由阿里巴巴公司发布的多模态对话模型。 | 2023.09.25 | [🤗HuggingFace](https://huggingface.co/Qwen/Qwen-VL-Chat) |
| Yi-1.5-34B | 零一万物 | 语言模型 | 由零一万物公司发布Yi 1.5系列最大的模型。 | 2024.05.12 | [🤗HuggingFace](https://huggingface.co/01-ai/Yi-1.5-34B-Chat) |
| Yi-VL-34B | 零一万物 | 多模态模型 | 由零一万物公司发布多模态大模型。 | 2024.01.19 | [🤗HuggingFace](https://huggingface.co/01-ai/Yi-VL-34B) |
| GLM4-9B | 智谱AI | 语言模型 | GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 | 2024.06.04 | [🤗HuggingFace](https://huggingface.co/THUDM/glm-4-9b-chat) |
| GLM-4v-9B | 智谱AI | 多模态模型 | GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的多模态模型。 | 2024.06.04 | [🤗HuggingFace](https://huggingface.co/THUDM/glm-4-9b-chat) |
| Mixtral 8x22B | Mistral（法国） | 语言模型 | Mixtral模型为法国AI创业公司Mistral现开源的最强大的对话模型 | 2024.04.17 | [🤗HuggingFace](https://huggingface.co/mistralai/Mixtral-8x22B-Instruct-v0.1) |
| GPT-4o | OpenAI（美国） | 多模态模型 | OpenAI公司发布的最强大的大模型，目前也是世界上最领先的大模型 | 2024.05.13 | https://openai.com/index/hello-gpt-4o/ |
# 文件结构
本项目的文件结构如下所示：
```
├── README.md
├── results/
│ ├── README.md
│ └── 新课标/ # 每种高考卷类型创建一个文件夹
│ │ ├── README.md # 对应高考卷的分数汇总
│ │ ├── 数学/ # 语言模型答题情况的jupyter notebook展示
│ │ │ ├── 新课标Ⅰ数学_Mixtral-8x22B-Instruct-v0.1.ipynb
│ │ │ └──...
│ │ ├── 英语/
│ │ ├── 语文/
│ │ ├── 化学/
│ │ └── ...
│ └── 全国甲卷/
│ ├── README.md
│ ├── 文综数学/
│ │ │ ├── 全国甲卷文综数学_Mixtral-8x22B-Instruct-v0.1.ipynb
│ │ │ └──...
│ └── ...
└── src/ # 模型推理脚本与交互代码
├── infer_chat.py.py
├── infer_wqx_vl.py
├── infer_wqx.py
├── web_ui.py
├── web_ui_wqx.py
└── web_ui_vl.py
```
# 评测方式
本次评测中的语数外三科中的题目图片均被丢弃，只有文字题干会输入到模型中（新课标I卷语、数、外三科考试中，仅数学包含2道带图题目，且对题目理解和作答影响不大），英语考试中的听力部分（分值30分）在统计总分时所有模型默认均满分。对于文综理综题目，我们将其中带有图片的题目使用该系列模型中的开源多模态模型进行作答，而不含图片的纯文本题目则由纯文本模型作答。所有模型使用的生成参数、提示词、输出结果以及得分情况均开源在本仓库中。
## 多模态题目评测方式
由于Mixtral系列仅有语言模型，所以仅使用语言模型进行多模态题目的作答。同时由于QwenVL-7B作答结果过差，新课标卷地理仅能取得4分，为尽量体现Qwen系列的真实水平，我们同时评测Qwen2-72B文本模型对新课标卷与全国甲卷的物理、化学、地理的多模态题目进行作答。
多模态题目处理方法参考 [多模态题目图片处理](./results/README.md#题目图片)。
## 人类教师的阅卷方式
在打分前，老师们并未被告知答案由大模型生成。然而，由于一些模型会出现完全不理解题意、回答重复、或者回答更像解析而非解答的问题，老师们在阅卷过程中通常会与我们确认这些情况是否正常。
此外,作文题目的判卷会存在1~2分的误差，因为模型全部回答是打印体，没有卷面分。
# 致谢
我们由衷感谢所有参与此次项目高中阅卷老师们，大模型的输出存在各种各样的问题，老师们怀着极大的耐心认真批改，感谢他们做出的努力。
```
@misc{internlm_gaokao,
author = {InternLM Team},
title = {GAOKAO-Eval: A Comprehensive GAOKAO Evaluation},
year = {2024},
howpublished = {\url{https://github.com/open-compass/GAOKAO-Eval}},
note = {Accessed: 2024-06-05}
}
```