https://github.com/karthikv792/LLMs-Planning

An extensible benchmark for evaluating large language models on planning
https://github.com/karthikv792/LLMs-Planning

automated-planning large-language-models planning

Last synced: 5 months ago
JSON representation

An extensible benchmark for evaluating large language models on planning

• Host: GitHub
• URL: https://github.com/karthikv792/LLMs-Planning
• Owner: karthikv792
• License: mit
• Created: 2022-05-28T01:45:21.000Z (almost 3 years ago)
• Default Branch: main
• Last Pushed: 2024-05-21T17:38:37.000Z (12 months ago)
• Last Synced: 2024-08-10T14:14:31.816Z (9 months ago)
• Topics: automated-planning, large-language-models, planning
• Language: PDDL
• Homepage:
• Size: 30.4 MB
• Stars: 231
• Watchers: 4
• Forks: 28
• Open Issues: 2
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

• StarryDivineSky - karthikv792/LLMs-Planning - Planning是一个用于评估大型语言模型在规划任务上表现的可扩展基准。该项目旨在提供一个标准化的平台，以测试和比较不同LLM在解决规划问题方面的能力。它允许用户自定义规划环境和目标，并提供了一系列评估指标来衡量LLM的规划性能。该基准的设计重点在于灵活性和可扩展性，方便研究人员添加新的环境、任务和评估方法。项目特色在于其模块化结构，支持多种规划领域和LLM的集成。其工作原理是利用LLM生成规划方案，然后通过预定义的评估函数来验证方案的有效性和效率。该项目为LLM在规划领域的应用研究提供了一个有价值的工具，有助于推动相关技术的发展。 (A01_文本生成_文本对话 / 大语言对话模型及数据)