https://github.com/microsoft/MM-REACT

Official repo for MM-REACT
https://github.com/microsoft/MM-REACT

Last synced: 10 days ago
JSON representation

Official repo for MM-REACT

• Host: GitHub
• URL: https://github.com/microsoft/MM-REACT
• Owner: microsoft
• License: mit
• Created: 2023-03-15T06:56:13.000Z (about 2 years ago)
• Default Branch: main
• Last Pushed: 2024-01-31T21:37:28.000Z (about 1 year ago)
• Last Synced: 2025-04-01T12:05:58.504Z (14 days ago)
• Language: Python
• Homepage: https://multimodal-react.github.io/
• Size: 10.2 MB
• Stars: 946
• Watchers: 18
• Forks: 70
• Open Issues: 21
• Metadata Files:
  • Readme: README.md
  • Contributing: CONTRIBUTING.md
  • License: LICENSE
  • Code of conduct: CODE_OF_CONDUCT.md
  • Citation: CITATION.cff
  • Security: SECURITY.md

Awesome Lists containing this project

• awesome-langchain-zh - MM ReAct - REACT?style=social): 基于ReAct模型的多模态 应用程序 (开源项目 / 其他聊天机器人)
• awesome-langchain - MM ReAct
• StarryDivineSky - microsoft/MM-REACT - REACT是由微软开源的项目，主要研究多模态交互，旨在提升大型语言模型（LLM）在处理涉及视觉信息的任务时的能力。该项目通过引入一个反应模块，使LLM能够与外部环境进行交互，从而更好地理解和处理多模态输入。MM-REACT的核心思想是让LLM不仅能观察（Observe），还能行动（Act）和推理（Reason），形成一个闭环反馈系统。具体来说，它允许LLM调用外部工具（如图像识别模型）来获取更多信息，并根据这些信息调整其输出。这种交互式的过程使得LLM能够更准确地理解图像内容，并生成更相关的文本描述或回答。MM-REACT的优势在于它能够有效地利用外部知识，克服LLM在多模态理解方面的局限性，从而在视觉问答、图像描述等任务中取得更好的性能。该项目提供代码和模型，方便研究人员复现和进一步探索多模态交互的潜力。 (多模态大模型 / 资源传输下载)