https://github.com/shikras/shikra

https://github.com/shikras/shikra

Last synced: about 1 year ago
JSON representation

• Host: GitHub
• URL: https://github.com/shikras/shikra
• Owner: shikras
• License: other
• Created: 2023-06-26T15:58:09.000Z (almost 3 years ago)
• Default Branch: main
• Last Pushed: 2023-07-24T08:34:46.000Z (almost 3 years ago)
• Last Synced: 2023-11-07T15:30:16.461Z (over 2 years ago)
• Language: Python
• Size: 8.11 MB
• Stars: 544
• Watchers: 11
• Forks: 34
• Open Issues: 32

Awesome Lists containing this project

• StarryDivineSky - shikras/shikra - 4 和 GPT-4V 等，并提供了一套全面的评估指标，如准确率、一致性和安全性。Shikra 的核心在于其灵活的评估流程，允许用户自定义数据集、提示模板和评估函数。它通过将评估任务分解为多个步骤，并利用分布式计算来加速评估过程。该项目旨在简化 MLLM 的评估，并帮助研究人员和开发者更好地理解和改进他们的模型。Shikra 还提供了一个易于使用的 Web 界面，用于管理评估任务和查看结果。它支持多种数据格式，并允许用户上传自己的数据集。此外，Shikra 具有良好的可扩展性，可以轻松地集成新的模型和评估指标。 (多模态大模型 / 资源传输下载)