https://github.com/open-compass/Creation-MMBench

Assessing Context-Aware Creative Intelligence in MLLMs
https://github.com/open-compass/Creation-MMBench

Last synced: 12 months ago
JSON representation

Assessing Context-Aware Creative Intelligence in MLLMs

• Host: GitHub
• URL: https://github.com/open-compass/Creation-MMBench
• Owner: open-compass
• Created: 2025-03-14T07:50:09.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2025-03-26T08:52:55.000Z (about 1 year ago)
• Last Synced: 2025-03-26T09:41:13.176Z (about 1 year ago)
• Language: JavaScript
• Size: 8.4 MB
• Stars: 11
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• StarryDivineSky - open-compass/Creation-MMBench - MMBench是一个用于评估多模态大语言模型（MLLMs）在上下文感知创造力方面的基准。它包含超过3000个精心设计的上下文感知多项选择题，旨在测试模型在理解复杂视觉和文本上下文后生成创造性内容的能力。该基准专注于评估模型如何利用上下文信息来产生新颖、有用和令人惊讶的输出。题目涵盖了图像描述、故事续写、视觉问答等多种创造性任务，并包含多个难度级别。Creation-MMBench通过衡量模型在这些任务上的表现，来评估其创造性智能水平。该项目提供详细的评估指标和工具，方便研究人员使用和比较不同模型的性能。它能够帮助研究人员深入了解MLLMs在创造性任务中的优势和不足，并促进相关领域的发展。该基准的独特之处在于其对上下文感知的强调，使其能够更全面地评估MLLMs的创造力。Creation-MMBench为推动多模态大语言模型在创意应用中的发展做出了贡献。 (多模态大模型 / 资源传输下载)