Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/OpenBMB/CPM-Live

Live Training for Open-source Big Models
https://github.com/OpenBMB/CPM-Live

deep-learning multi-task-learning natural-language-generation natural-language-processing natural-language-understanding nlp parameter-efficient-learning pretrained-language-model

Last synced: 3 months ago
JSON representation

Live Training for Open-source Big Models

Host: GitHub
URL: https://github.com/OpenBMB/CPM-Live
Owner: OpenBMB
Created: 2022-05-21T12:24:40.000Z (over 2 years ago)
Default Branch: master
Last Pushed: 2023-05-30T09:08:02.000Z (over 1 year ago)
Last Synced: 2024-07-18T23:33:08.816Z (4 months ago)
Topics: deep-learning, multi-task-learning, natural-language-generation, natural-language-processing, natural-language-understanding, nlp, parameter-efficient-learning, pretrained-language-model
Language: Python
Homepage:
Size: 1.11 MB
Stars: 510
Watchers: 21
Forks: 40
Open Issues: 7
Metadata Files:
- Readme: README-ZH.md

Awesome Lists containing this project

README

        


CPM-Live


**直播训练开源大模型**



   官方网站 • 计划书 • 讨论区 • English








## 动态

- 2023/05/27 [CPM-Bee](https://github.com/OpenBMB/CPM-Bee) 发布了！

- 2023/04/12 CPM-Ant 可以在[HuggingFace Transformers](https://huggingface.co/openbmb/cpm-ant-10b)中使用了！

- 2022/10/12 中英双语模型 [CPM-Ant+](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live) 已经发布！除了能够生成中文/英文文本，现在模型还可以处理问答、摘要和翻译任务！

- 2022/09/16 [CPM-Ant](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live) 已经发布！

- 2022/05/29 CPM-Live的训练今天启动! 详情请查看[训练动态](https://live.openbmb.org/home)。

- 2022/05/25 CPM-Live的[训练计划](./plans/CPM-Live训练计划书.md)现已公布。期待训练开始!

## 里程碑

- **CPM-Bee** (2022/10/13-2023/05/27) [[代码](https://github.com/OpenBMB/CPM-Bee)][[模型](https://github.com/OpenBMB/CPM-Bee#%E6%A8%A1%E5%9E%8B)][[计划书](./plans/CPM-Bee训练计划书.md)]

- **CPM-Ant+** (2022/08/05-2022/10/12) [[代码](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live)][[模型](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant-plus/cpm-live#model-checkpoints)]

- **CPM-Ant** (2022/05/29-2022/08/05) [[代码](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live)][[模型](https://github.com/OpenBMB/CPM-Live/tree/cpm-ant/cpm-live#model-checkpoints)][[网站](https://live.openbmb.org/ant)][[博客](https://www.openbmb.org/en/community/blogs/blogpage?id=98afef2ce45f4fe9a4bc15a66d7ccb92)][[计划书](./plans/CPM-Ant训练计划书.md)]

## 训练计划

考虑到数据和计算资源的规模，CPM-Live将从10B模型开始训练并持续学习。

### 在训练过程中，我们将进行：

- **实时**：显示模型训练指标

- **每天**：发布模型训练日志

- **每周**：处理社区的讨论和反馈

- **不定期**：在模型训练期间发布允许公开下载的检查点

### 在训练期间你可以：

- **提出你的模型倡议**：对模型架构、训练方法或数据源有好的想法？你可以在社区里提出你的模型倡议。如果该倡议得到更多的支持并且实际可行，我们将把它添加到我们正在训练的模型中，这样CPM-Live就可以在大家的帮助下不断学习和进步。

- **开发你的应用程序**：基于CPM-Live，你可以向社区提交你初期想法、原型、开发代码或完成的应用程序。我们将在网站上展示最受欢迎的应用程序。

- **在论坛上聊天**：你可以在我们的论坛上谈论任何与大模型有关的话题，如学术研究、工程实现、工具使用、应用设计等。无论你是否有经验，我们相信每个人都可以从积极和开放的讨论中受益。

- **下载资源**：模型训练完成后，你可以在开放使用许可下自由下载模型参数。CPM-Live使用的是包括商业化许可的开放许可。通过模型压缩和推理加速工具，你可以在自己的电脑上体验大模型的威力!

## 社区

我们的[社区](https://github.com/OpenBMB/CPM-Live/discussions) 基于GitHub Discussions。

阅读[第一篇帖子](https://github.com/OpenBMB/CPM-Live/discussions/1)，开始你对CPM-Live的探索吧！