https://github.com/MME-Benchmarks/Video-MME

✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis
https://github.com/MME-Benchmarks/Video-MME

large-language-models large-vision-language-models mme multimodal-large-language-models video video-mme

Last synced: about 17 hours ago
JSON representation

✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

• Host: GitHub
• URL: https://github.com/MME-Benchmarks/Video-MME
• Owner: MME-Benchmarks
• Created: 2024-06-02T14:28:51.000Z (11 months ago)
• Default Branch: main
• Last Pushed: 2025-04-17T02:18:32.000Z (21 days ago)
• Last Synced: 2025-04-17T16:00:01.565Z (21 days ago)
• Topics: large-language-models, large-vision-language-models, mme, multimodal-large-language-models, video, video-mme
• Homepage:
• Size: 16.7 MB
• Stars: 524
• Watchers: 6
• Forks: 20
• Open Issues: 6
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• ai-game-devtools - Video-MME - Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis. |[arXiv](https://arxiv.org/abs/2405.21075) | | Visual | (<span id="visual">Visual</span> / <span id="tool">Tool (AI LLM)</span>)
• StarryDivineSky - MME-Benchmarks/Video-MME - MME是一个CVPR 2025发布的视频分析多模态大语言模型（MLLMs）的综合评估基准。它是首个此类基准，旨在全面评估MLLMs在视频理解方面的能力。该基准包含多种视频分析任务，并提供了一套标准化的评估指标。Video-MME的目标是推动视频分析领域MLLM的发展，并促进公平的性能比较。它为研究人员提供了一个统一的平台，以测试和改进他们的模型。该项目包含详细的评估协议和数据集信息，方便用户进行实验。Video-MME的出现填补了视频分析MLLM评估领域的空白，将加速相关研究的进展。该项目提供了清晰的文档和示例代码，方便用户上手使用。通过使用Video-MME，研究人员可以更好地了解MLLMs在视频分析中的优势和局限性。该基准的发布将促进视频理解技术的进步。 (多模态大模型 / 资源传输下载)
• awesome-golang-ai - Video-MME - MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis. (Benchmark / Multi-modal)