https://github.com/MINT-SJTU/STI-Bench

STI-Bench : Are MLLMs Ready for Precise Spatial-Temporal World Understanding?
https://github.com/MINT-SJTU/STI-Bench

Last synced: 12 months ago
JSON representation

STI-Bench : Are MLLMs Ready for Precise Spatial-Temporal World Understanding?

• Host: GitHub
• URL: https://github.com/MINT-SJTU/STI-Bench
• Owner: MINT-SJTU
• License: mit
• Created: 2025-04-06T13:31:56.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2025-04-19T14:48:55.000Z (about 1 year ago)
• Last Synced: 2025-04-19T18:44:11.767Z (about 1 year ago)
• Language: Python
• Size: 16.9 MB
• Stars: 9
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

• StarryDivineSky - MIRA-SJTU/STI-Bench - Bench是一个用于评估大型语言模型（MLLMs）在精确时空世界理解能力方面的基准测试项目。它由上海交通大学MIRA实验室开发，旨在探究MLLMs是否能够准确理解和推理现实世界的时空关系。该基准测试包含多种任务，例如时空定位、事件排序和预测等，涵盖了不同粒度和复杂度的时空推理场景。STI-Bench利用合成数据和真实世界数据来评估MLLMs的性能，并提供了一套完整的评估指标。项目特色在于其对时空理解的细粒度评估，能够帮助研究人员深入了解MLLMs在处理时空信息方面的优势和不足。通过STI-Bench，研究人员可以更好地开发和改进MLLMs，使其在需要精确时空推理的应用中表现更佳，例如自动驾驶、机器人导航和智能城市管理等。该项目提供数据集、评估代码和基线模型，方便研究人员进行实验和比较。 (多模态大模型 / 资源传输下载)