Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/OpenBMB/CPM-Live

Live Training for Open-source Big Models
https://github.com/OpenBMB/CPM-Live

deep-learning multi-task-learning natural-language-generation natural-language-processing natural-language-understanding nlp parameter-efficient-learning pretrained-language-model

Last synced: 25 days ago
JSON representation

Live Training for Open-source Big Models

Awesome Lists containing this project

README

        

CPM-Live

**直播训练开源大模型**


官方网站计划书讨论区English


## 动态
- 2023/05/27 [CPM-Bee](https://github.com/OpenBMB/CPM-Bee) 发布了!
- 2023/04/12 CPM-Ant 可以在[HuggingFace Transformers](https://huggingface.co/openbmb/cpm-ant-10b)中使用了!
- 2022/10/12 中英双语模型 [CPM-Ant+](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live) 已经发布!除了能够生成中文/英文文本,现在模型还可以处理问答、摘要和翻译任务!
- 2022/09/16 [CPM-Ant](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live) 已经发布!
- 2022/05/29 CPM-Live的训练今天启动! 详情请查看[训练动态](https://live.openbmb.org/home)。
- 2022/05/25 CPM-Live的[训练计划](./plans/CPM-Live训练计划书.md)现已公布。期待训练开始!

## 里程碑
- **CPM-Bee** (2022/10/13-2023/05/27) [[代码](https://github.com/OpenBMB/CPM-Bee)][[模型](https://github.com/OpenBMB/CPM-Bee#%E6%A8%A1%E5%9E%8B)][[计划书](./plans/CPM-Bee训练计划书.md)]
- **CPM-Ant+** (2022/08/05-2022/10/12) [[代码](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live)][[模型](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live#model-checkpoints)]
- **CPM-Ant** (2022/05/29-2022/08/05) [[代码](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live)][[模型](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live#model-checkpoints)][[网站](https://live.openbmb.org/ant)][[博客](https://www.openbmb.org/en/community/blogs/blogpage?id=98afef2ce45f4fe9a4bc15a66d7ccb92)][[计划书](./plans/CPM-Ant训练计划书.md)]

## 训练计划
考虑到数据和计算资源的规模,CPM-Live将从10B模型开始训练并持续学习。

### 在训练过程中,我们将进行:

- **实时**:显示模型训练指标
- **每天**:发布模型训练日志
- **每周**:处理社区的讨论和反馈
- **不定期**:在模型训练期间发布允许公开下载的检查点

### 在训练期间你可以:

- **提出你的模型倡议**:对模型架构、训练方法或数据源有好的想法?你可以在社区里提出你的模型倡议。如果该倡议得到更多的支持并且实际可行,我们将把它添加到我们正在训练的模型中,这样CPM-Live就可以在大家的帮助下不断学习和进步。

- **开发你的应用程序**:基于CPM-Live,你可以向社区提交你初期想法、原型、开发代码或完成的应用程序。我们将在网站上展示最受欢迎的应用程序。

- **在论坛上聊天**:你可以在我们的论坛上谈论任何与大模型有关的话题,如学术研究、工程实现、工具使用、应用设计等。无论你是否有经验,我们相信每个人都可以从积极和开放的讨论中受益。

- **下载资源**:模型训练完成后,你可以在开放使用许可下自由下载模型参数。CPM-Live使用的是包括商业化许可的开放许可。通过模型压缩和推理加速工具,你可以在自己的电脑上体验大模型的威力!

## 社区

我们的[社区](https://github.com/OpenBMB/CPM-Live/discussions) 基于GitHub Discussions。

阅读[第一篇帖子](https://github.com/OpenBMB/CPM-Live/discussions/1),开始你对CPM-Live的探索吧!