https://github.com/yfzhang114/mmrlhf-eval

https://github.com/yfzhang114/mmrlhf-eval

Last synced: about 1 month ago
JSON representation

• Host: GitHub
• URL: https://github.com/yfzhang114/mmrlhf-eval
• Owner: yfzhang114
• License: other
• Created: 2025-02-06T01:36:39.000Z (3 months ago)
• Default Branch: main
• Last Pushed: 2025-02-21T07:56:21.000Z (2 months ago)
• Last Synced: 2025-02-21T08:31:02.239Z (2 months ago)
• Language: Python
• Size: 2.29 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0

Awesome Lists containing this project

• StarryDivineSky - yfzhang114/mmrlhf-eval - eval项目旨在评估大型语言模型（LLM）在多模态强化学习人类反馈（RLHF）任务中的表现。它提供了一个全面的评估框架，包括数据集、评估指标和基准模型。该项目的特色在于其多模态性，能够处理图像、文本等多种输入模态，更贴近真实世界的应用场景。其工作原理是利用预训练的LLM作为策略网络，通过RLHF算法进行微调，使其更好地对人类反馈进行响应。评估指标包括奖励得分、成功率等，用于衡量模型的性能。项目提供了详细的实验设置和复现步骤，方便研究人员进行实验和比较。该项目对于研究多模态RLHF、提升LLM的智能体能力具有重要意义。它支持多种LLM模型，并提供可扩展的评估平台，方便用户自定义数据集和评估指标。 总之，mmrlhf-eval是一个用于多模态RLHF评估的强大工具，旨在推动LLM在智能体领域的应用。 (多模态大模型 / 资源传输下载)