https://github.com/multimodal-art-projection/MAP-NEO

https://github.com/multimodal-art-projection/MAP-NEO

Last synced: 3 months ago
JSON representation

• Host: GitHub
• URL: https://github.com/multimodal-art-projection/MAP-NEO
• Owner: multimodal-art-projection
• Created: 2024-05-08T11:58:35.000Z (6 months ago)
• Default Branch: main
• Last Pushed: 2024-06-21T02:36:44.000Z (5 months ago)
• Last Synced: 2024-07-30T05:34:23.211Z (3 months ago)
• Language: Python
• Size: 103 MB
• Stars: 789
• Watchers: 10
• Forks: 73
• Open Issues: 24
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• StarryDivineSky - multimodal-art-projection/MAP-NEO - NEO 是一个完全开源的大型语言模型，包括预训练数据、数据处理管道 （Matrix）、预训练脚本和对齐代码。它在 4.5T 中英文词元上从头开始训练，表现出与 LLaMA2 7B 相当的性能。MAP-Neo 模型在推理、数学和编码等具有挑战性的任务中提供类似专有模型的性能，优于同等规模的同类产品。出于研究目的，我们的目标是在LLM培训过程中实现完全透明。为此，我们全面发布了 MAP-Neo，包括最终和中间检查点、自训练标记器、预训练语料库，以及高效、稳定优化的预训练代码库。 (文本生成、文本对话 / 大语言对话模型及数据)