Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

https://github.com/CLUEbenchmark/SuperCLUE-Agent

SuperCLUE-Agent: 基于中文原生任务的Agent智能体核心能力测评基准
https://github.com/CLUEbenchmark/SuperCLUE-Agent

Last synced: 12 days ago
JSON representation

SuperCLUE-Agent: 基于中文原生任务的Agent智能体核心能力测评基准

Host: GitHub
URL: https://github.com/CLUEbenchmark/SuperCLUE-Agent
Owner: CLUEbenchmark
Created: 2023-10-19T09:17:39.000Z (8 months ago)
Default Branch: main
Last Pushed: 2023-11-09T03:37:30.000Z (8 months ago)
Last Synced: 2024-02-29T17:33:04.338Z (4 months ago)
Homepage:
Size: 16.1 MB
Stars: 58
Watchers: 4
Forks: 1
Open Issues: 6
Metadata Files:
- Readme: README.md

Lists

awesome-llm-eval - SuperCLUE-Agent - Agent，一个聚焦于Agent能力的多维度基准测试，包括3大核心能力、10大基础任务，可以用于评估大语言模型在核心Agent能力上的表现，包括工具使用、任务规划和长短期记忆能力。经过对16个支持中文的大语言模型的测评发现：在Agent的核心基础能力中文任务上，GPT4模型大幅领先；同时，代表性国内模型，包括开源和闭源模型，已经较为接近GPT3.5水平 (2023-10-20) | (Datasets-or-Benchmark / Agent能力)
Awesome-LLMs-Datasets - SuperCLUE-Agent

README

        # SuperCLUE-Agent

SuperCLUE-Agent: Agent智能体中文原生任务能力测评基准

[更新日期]2023-10-24, 添加示例

更多信息请访问官网页面，或榜单





## 排行榜

### SuperCLUE-Agent三大能力

| 序号 | 模型 | 机构 | 工具使用 | 任务规划 | 长短期记忆 |

|:-:|:-:|:-:|:-:|:-:|:-:|  

| 1 | GPT4 | OpenAI | 90.23 | 81.88 | 66.67 |

|2 |ChatGLM3-Turbo|	清华&智谱AI 	| **73.87** | 	**68.37**	| **77.03**|

| 3 | Claude2-100K | Anthropic | 65.08 | 52.04 | 73.97 |

| 4 | gpt-3.5-turbo | OpenAI | 60.05 | 61.07 | 55.74 |

| 5 | Baichuan2-13B-Chat | 百川智能 | 61.11 | 40.48 | 52.74 |

| 6 | ERNIE-3.5-Turbo | 百度 | 48.23 | 42.62 | 55.41 |

| 7 | MiniMax_Abab5.5 | MiniMax | 51.52 | 46.11 | 42.23 |

| 8 | OpenBuddy-70B | OpenBuddy | 55.31 | 37.58 | 43.13 |  

| 9 | 豆包 | 字节跳动 | 42.54 | 37.92 | 52.72 |

| 10 | ChatGLM2-Pro | 清华&智谱AI | 54.82 | 37.92 | 34.12 |

| 11 | 讯飞星火v2.0 | 科大讯飞 | 48.12 | 39.19 | 36.58 |  

| 12| 通义千问v1.0.8 | 阿里云 | 47.14 | 30.61 | 31.12 |

| 13 | Qwen-7B-Chat | 阿里云 | 39.25 | 28.52 | 37.67 |

| 14 | Llama-2-13B-Chat | Meta | 30.71 | 38.59 | 34.35 |

| 15 | Chinese_Alpaca2_13B | yiming cui | 22.08 | 23.65 | 42.62 |

| 16| ChatGLM2-6B | 清华&智谱AI | 11.87 | 19.09 | 32.33 |

| 17 | 360GPT_S2_V9 | 360 | 13.45 | 20.11 | 28.72 |

### SuperCLUE-Agent十大基础任务

| 模型 | 总分 | 任务分解 | 自我反思 | 思维链 | 调用API | 检索API | 规划API | 通用工具使用 | 多文档QA | 长程对话 | 示例学习 |

|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|  

| GPT4 | 80.56 | 76.15 | 94.69 | 76.35 | 87.70 | 90.66 | 82.22 | 100.00 | 67.97 | 60.20 | 73.79 |

|ChatGLM3-Turbo	|73.09 |	100.00 |	52.13	|51.00	|49.00	|93.88	|72.00|	81.00	|90.62|	63.00|	78.00|

| Claude2-100K | 63.82 | 42.77 | 64.04 | 51.73 | 52.36 | 74.52 | 73.14 | 61.42 | 59.55 | 68.60 | 94.53 |

| gpt-3.5-turbo | 59.07 | 58.03 | 68.52 | 58.02 | 55.45 | 55.08 | 71.90 | 60.48 | 60.75 | 50.99 | 57.63 |

| Baichuan2-13B-Chat | 52.44 | 65.34 | 29.77 | 28.38 | 32.47 | 81.74 | 61.39 | 69.89 | 58.69 | 43.44 | 57.19 |  

| ERNIE-3.5-Turbo | 48.69 | 69.76 | 39.63 | 20.60 | 42.03 | 46.32 | 58.67 | 47.47 | 64.20 | 67.49 | 36.38 |

| MiniMax_Abab5.5 | 47.07 | 58.40 | 40.90 | 40.49 | 48.75 | 42.39 | 61.97 | 55.52 | 39.27 | 43.78 | 45.29 |

| OpenBuddy-70B | 46.34 | 22.12 | 35.78 | 55.53 | 43.18 | 69.03 | 54.75 | 56.65 | 35.10 | 47.31 | 47.42 |

| 豆包 | 43.95 | 32.12 | 41.61 | 41.25 | 38.40 | 45.74 | 54.06 | 31.45 | 48.07 | 52.99 | 58.26 |

| ChatGLM2-Pro | 43.52 | 27.31 | 45.13 | 42.91 | 33.44 | 82.11 | 64.66 | 39.46 | 17.16 | 39.81 | 46.33 |

| 讯飞星火v2.0 | 41.95 | 39.24 | 44.23 | 35.67 | 44.97 | 53.16 | 41.19 | 54.78 | 35.07 | 36.96 | 39.59 |

| 通义千问v1.0.8 | 37.32 | 14.93 | 32.59 | 45.22 | 37.37 | 63.60 | 40.96 | 48.07 | 23.54 | 45.21 | 25.31 |

| Qwen-7B-Chat | 35.57 | 26.00 | 32.76 | 28.70 | 48.43 | 53.19 | 19.90 | 37.04 | 36.44 | 43.44 | 34.46 |

| Llama-2-13B-Chat | 34.18 | 50.52 | 35.97 | 30.59 | 20.89 | 45.03 | 30.01 | 28.99 | 24.29 | 38.57 | 41.46 |

| Chinese_Alpaca2_13B | 28.74 | 33.63 | 26.36 | 13.37 | 22.23 | 25.79 | 18.70 | 23.64 | 42.22 | 45.00 | 42.05 |

| ChatGLM2-6B | 20.18 | 10.81 | 31.93 | 16.83 | 19.84 | 10.82 | 3.85 | 15.98 | 37.65 | 35.43 | 25.10 |

| 360GPT_S2_V9 | 20.07 | 12.21 | 30.01 | 18.98 | 7.62 | 17.42 | 8.45 | 23.00 | 19.30 | 41.58 | 27.19 |

## 示例

### 工具使用

#### 调用API

调用API，主要考察AI Agent是否可以根据给定API的描述精确调用API，并正确响应API返回的能力。



#### 检索API 

调用API，主要考察AI Agent选择可能解决用户需求的API，并通过阅读文档来学习如何使用它们。



#### 规划API

规划API，估AI Agent在检索和调用API之外的规划能力。考虑到不明确的用户请求（例如预订航班/酒店进行旅行）或者更复杂的请求，

模型可能需要进行多次API调用来解决问题。



#### 通用工具使用

评估大模型使用通用工具的能力。包括但不限于：使用搜索引擎、浏览网页、操作本地文件、搜索本地文件、使用数据库等等。



### 任务规划

#### 任务分解

任务分解，它评估的是AI Agent将大型任务分解为较小的、可管理的子目标，从而能够高效地处理复杂任务的能力。



#### 自我反思

该类任务的目标评估AI Agent对过去的行为进行自我批评和反思。从错误中吸取教训，并为未来的步骤进行改进，从而提高最终结果的质量的能力。



#### 思维链（CoT）

该任务主要考察的是AI Agent利用更多的推理时间和过程，将困难的任务分解为更小、更简单的步骤的能力，着重考察AI Agent是如何一步一步通过思考

来解决问题的能力。



### 长短期记忆

#### 示例学习（In-context Learning）

示例学习（也称情境学习），是一种特定的提示工程方法，其中任务的示例作为提示的一部分提供给模型。它是一种高阶的涌现能力，

你可以使用现成的大型语言模型（LLM）来解决新任务，而无需进行微调。



#### 长程对话

在现实世界中的长对话中，用户通常会使用大模型谈论几个话题并在其中切换。比如主题检索任务，是通过要求大模型检索由多个主题组成的长对话中的开头和中间过程的主题来测试这种场景。



#### 多文档问答

主要考察AI Agent在多个文档中提取并组合答案的能力。



## 讨论、测评与交流


SuperCLUE-Agent榜单会定期进行更新，会纳入更多可用中文大模型。欢迎对大模型评测感兴趣的个人和机构联系与交流。




讨论交流与使用