Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/zhoucz97/awesome-ChatGPT

ChatGPT相关资源汇总
https://github.com/zhoucz97/awesome-ChatGPT

List: awesome-ChatGPT

Last synced: 16 days ago
JSON representation

ChatGPT相关资源汇总

Awesome Lists containing this project

README 

        
# awesome-ChatGPT



> 记录看到的关于ChatGPT的学习资源、文章、讨论等。



## ChatGPT整体介绍



1. 官方介绍：[ChatGPT: Optimizing Language Models for Dialogue (openai.com)](https://openai.com/blog/chatgpt/)

2. [ChatGPT团队背景（共87人）](https://mp.weixin.qq.com/s/VM2SzNyZF2bZDQ7tYvZFkA)

3. 台大陈蕴侬视频（简单介绍）：[InstructGPT-ChatGPT前身，从人类回馈中学习_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV18W4y1g7x4/?spm_id_from=444.41.list.card_archive.click&vd_source=a0cdcca7d567da626e54d50523fa551c)

4. [ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读） - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/590655677)

5. [车万翔：ChatGPT时代，NLPer 的危与机](https://mp.weixin.qq.com/s/BlcfBkuSyYXeUPKzfbSOGg)

6. 【推荐-李宏毅视频】：ChatGPT原理剖析(youtube.com)，（比较基础，入门可看）

   1. [ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程 - YouTube](https://www.youtube.com/watch?v=e0aKI2GGZNg&ab_channel=Hung-yiLee)

   2. [【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解 - YouTube](https://www.youtube.com/watch?v=yiY4nPOzJEg&ab_channel=Hung-yiLee)

   3. [【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train) - YouTube](https://www.youtube.com/watch?v=1ah7Qsri_c8&ab_channel=Hung-yiLee)

   4. [【生成式AI】ChatGPT 原理剖析 (3/3) — ChatGPT 所帶來的研究問題 - YouTube](https://www.youtube.com/watch?v=UsaZhQ9bY2k&ab_channel=Hung-yiLee)

   5. [【生成式AI】用 ChatGPT 和 Midjourney 來玩文字冒險遊戲 - YouTube](https://www.youtube.com/watch?v=A-6c584jxX8&ab_channel=Hung-yiLee)



## ChatGPT技术文章



1. 【**推荐**】[张俊林：通向AGI之路：大型语言模型（LLM）技术精要 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/597586623)

2. 【**强烈推荐**（必看）】[符尧大佬文章-拆解追溯 GPT-3.5 各项能力的起源](https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756)

3. 【**强烈推荐**（必看）】CS224N课件，从Prompting讲到Instruction Tuning到RLHF，把GPT到ChatGPT的演化顺了一遍。

   1. [CS224N课件  2023 Prompting, Instruction Finetuning, and RLHF](https://github.com/zhoucz97/awesome-ChatGPT/blob/main/cs224n-2023-lecture11-prompting-rlhf.pdf)

4. 【**推荐**】[符尧直播：预训练，指令微调，对齐，专业化：论大预言模型能力的来源](https://www.bilibili.com/video/BV1Qs4y1h7pn/?spm_id_from=333.337.search-card.all.click&vd_source=a0cdcca7d567da626e54d50523fa551c)

5. [解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/604237227?utm_campaign=shareopn&utm_medium=social&utm_oi=785438775361814528&utm_psn=1607370743255441408&utm_source=wechat_session)

6. [对话大模型中的事实错误：ChatGPT 的缺陷 (qq.com)](https://mp.weixin.qq.com/s/CwYb1uLnzrz7s9jXeqSynw)

7. [【强化学习 229】ChatGPT/InstructGPT - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/589827115)

8. [ChatGPT/InstructGPT详解 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/590311003)

9. [ChatGPT是怎样被训练出来的？_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1BG4y137SH/?spm_id_from=333.999.0.0)

10. 【**RLHF**】Reinforcement learning from Human Feedback，基于人类反馈的强化学习

   - 强化学习教程：[datawhalechina/easy-rl: 强化学习中文教程（蘑菇书）](https://github.com/datawhalechina/easy-rl)



   - [从零实现ChatGPT——RLHF技术笔记 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/591474085)

   - [ChatGPT 背后的“功臣”——RLHF 技术详解 (qq.com)](https://mp.weixin.qq.com/s?__biz=Mzk0MDQyNTY4Mw==&mid=2247484347&idx=1&sn=216b180e33cd4a422e3027c8176893cd&scene=21#wechat_redirect)

   - [Illustrating Reinforcement Learning from Human Feedback (RLHF) (huggingface.co)](https://huggingface.co/blog/rlhf)

   - HuggingFace直播录像：https://www.youtube.com/watch?v=EAd4oQtEJOM&ab_channel=HuggingFace

   - PPO算法详解：[Proximal Policy Optimization (PPO) Explained | by Wouter van Heeswijk, PhD | Towards Data Science](https://towardsdatascience.com/proximal-policy-optimization-ppo-explained-abed1952457b)

11. 【赛尔笔记】

    1. [赛尔笔记 | 浅析ChatGPT的原理及应用 (qq.com)](https://mp.weixin.qq.com/s/wLVoY6BwWd9p4DqrpOMOxg)

    2. [赛尔笔记 | ChatGPT第二弹：PPO算法 (qq.com)](https://mp.weixin.qq.com/s/h9c3w1af2uBYLlVbw7j82A)

12. [In-Context Learning玩法大全 (qq.com)](https://mp.weixin.qq.com/s/NLWCuzcCdwljQfzu-Jd9lQ)

13. [为什么所有公开的对 GPT-3 的复现都失败了？复现和使用GPT-3/ChatGPT，你所应该知道的 (qq.com)](https://mp.weixin.qq.com/s/AyXboJoKZsKasUJ0KUYtPA)

14. 【数据集】[大规模语言模型训练必备数据集-The Pile：涵盖22类、800GB的多样性文本数据集概述](https://mp.weixin.qq.com/s/gKNjDYDleDhIeDqYh0M_Xw)

15. 【ChatGPT数据标注指南】https://mp.weixin.qq.com/s/b9QnMtHj6yJfN0goBRSCXg



## ChatGPT讨论



1. [国内有类似ChatGPT能力的模型吗？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/570713548)



2. [如何评价 ChatGPT ？会取代搜索引擎吗？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/570062224)

3. [如何评价 OpenAI 的超级对话模型 ChatGPT ？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/570189639)

4. [ChatGPT 印证了模型大一统的可行性，这在未来五年会对 NLP 从业者带来怎样的冲击？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/575391861)



5. [阻碍国内团队研究 ChatGPT 这样产品的障碍有哪些，技术，钱，还是领导力？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/570782945)

6. [ChatGPT 结合工业机器人，将锁死发展中国家的崛起？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/583128160)

7. [青源Talk第33期丨文本生成中的知识和控制_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV18M411Y75w/?spm_id_from=333.999.0.0&vd_source=a0cdcca7d567da626e54d50523fa551c)

8. [ChatGPT下的知识图谱审视：一次关于必然影响、未来方向的讨论实录与总结 (qq.com)](https://mp.weixin.qq.com/s/IR6uCpit0TpVzDjYz6eTtQ)

9. [ChatGPT 有多高的技术壁垒？国内外除了 OpenAI 还有谁可以做到类似程度？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/581806122)

10. [为什么chatgpt的上下文连续对话能力得到了大幅度提升？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/575481512)

11. [为什么Yann lecun（杨立昆）对chatGPT持否定态度？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/582340981/answer/2883234341)

12. [OpenAI 何以掀翻 Google 布局多年的AI大棋？ (qq.com)](https://mp.weixin.qq.com/s/qWQ6xVfQVEOJriYRVFWCrQ)

13. [李rumor:追赶ChatGPT的难点与平替](https://mp.weixin.qq.com/s/eYmssaPFODjC7xwh1jHydQ)



## ChatGPT相关Paper



### GPT系列



1. GPT1：[radford2018improving.pdf (ubc.ca)](https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf)

2. GPT2：[Language Models are Unsupervised Multitask Learners (openai.com)](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)

3. GPT3：[Language Models are Few-Shot Learners (arxiv.org)](https://arxiv.org/abs/2005.14165)

4. InstructGPT：[Training language models to follow instructions with human feedback (arxiv.org)](https://arxiv.org/abs/2203.02155)



### Prompt



1. **Chain-of-Thought (CoT)**： [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arxiv.org)](https://arxiv.org/abs/2201.11903)

2. **Let's think step by step**: [Large Language Models are Zero-Shot Reasoners (arxiv.org)](https://arxiv.org/abs/2205.11916)

3. 探究In-context Learning：[Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? - ACL Anthology](https://aclanthology.org/2022.emnlp-main.759/)

   - In-Context Learning中demonstrations正确与否对模型效果影响不大。

4. 探究CoT：[Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters (arxiv.org)](https://arxiv.org/abs/2212.10001)

   - CoT中推理的**有效性**对模型效果影响不大，即使是invalid reasoning steps，也能实现80%~90%的性能。

   - 推理**与query的relevance**以及**推理步骤的order**是CoT的关键。

5. In-context Learning综述：[A Survey on In-context Learning (arxiv.org)](https://arxiv.org/abs/2301.00234)

6. LLM的缩放法则：[Scaling Laws for Neural Language Models (arxiv.org)](https://arxiv.org/abs/2001.08361)

7. **SELF-INSTRUCT**：使用LLM自动生成指令数据[[2212.10560\] Self-Instruct: Aligning Language Model with Self Generated Instructions (arxiv.org)](https://arxiv.org/abs/2212.10560)



### RLHF



1. PPO算法：[Proximal Policy Optimization Algorithms (arxiv.org)](https://arxiv.org/abs/1707.06347)

1. RLHF做摘要任务：[Learning to summarize from human feedback (arxiv.org)](https://arxiv.org/abs/2009.01325)

1. [Fine-Tuning Language Models from Human Preferences (arxiv.org)](https://arxiv.org/abs/1909.08593)



### 调用外部工具



1. 

2. **WebGPT**-[WebGPT: Browser-assisted question-answering with human feedback (arxiv.org)](https://arxiv.org/abs/2112.09332)

3. **ToolFormer**-[Toolformer: Language Models Can Teach Themselves to Use Tools (arxiv.org)](https://arxiv.org/abs/2302.04761)



## 动手实现ChatGPT/RLHF



1. [GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/608705255)

2. [lvwerra/trl: Train transformer language models with reinforcement learning. (github.com)](https://github.com/lvwerra/trl)

3. [allenai/RL4LMs: A modular RL library to fine-tune language models to human preferences (github.com)](https://github.com/allenai/RL4LMs)

4. [CarperAI/trlx: A repo for distributed training of language models with Reinforcement Learning via Human Feedback (RLHF) (github.com)](https://github.com/CarperAI/trlx)

5. 一个更简单，更快的GPT，可以快速了解GPT具体实现：[karpathy/nanoGPT](https://github.com/karpathy/nanoGPT)

6. [GPT-3 + RL 全流程训练开源整理 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/608705255)

7. 一堆ChatGPT的开源实现：https://mp.weixin.qq.com/s/5161sf9h2g5oQRSWar2QOQ

8. [transformers_tasks/readme.md at main · HarderThenHarder/transformers_tasks (github.com)](https://github.com/HarderThenHarder/transformers_tasks/blob/main/RLHF/readme.md)

9. 【**Alpaca**】斯坦福轻量级实现的Instruction-Following Model，以meta的llama作为backbone，在52K个来自ChatGPT的*instruction-following demonstrations*做微调。

   1. [Stanford CRFM官方blog](https://crfm.stanford.edu/2023/03/13/alpaca.html)

   2. github repo：[tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data. (github.com)](https://github.com/tatsu-lab/stanford_alpaca#data-release)

   3. [Stanford Alpaca (羊驼)：ChatGPT 学术版开源实现 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/614354549)

   4. [Alpaca-Lora (羊驼-Lora): 轻量级 ChatGPT 的开源实现（对标 Standford Alpaca） - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/615646636)

10. **SELF-INSTRUCT**：使用LLM自动生成指令数据

   1.  [yizhongw/self-instruct: Aligning pretrained language models with instruction data generated by themselves. (github.com)](https://github.com/yizhongw/self-instruct)



## ChatGPT应用



1. 【**NewBing**】

   1. [Reinventing search with a new AI-powered Microsoft Bing and Edge, your copilot for the web - The Official Microsoft Blog](https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/)



   2. [Building the New Bing | Search Quality Insights](https://blogs.bing.com/search-quality-insights/february-2023/Building-the-New-Bing)



2. PerfectPrompt：https://promptperfect.jina.ai/



3. ChatGPT谷歌插件：[wong2/chatgpt-google-extension](https://github.com/wong2/chatgpt-google-extension)



4. 基于 ChatGPT 的微信机器人：[AutumnWhj/ChatGPT-wechat-bot](https://github.com/AutumnWhj/ChatGPT-wechat-bot)



5. ChatGPT 中文调教指南：[PlexPt/awesome-chatgpt-prompts-zh](https://github.com/PlexPt/awesome-chatgpt-prompts-zh)



6. 基于ChatGPT进行二次开发的一些应用Repo列表：[acheong08's list / Awesome ChatGPT (github.com)](https://github.com/stars/acheong08/lists/awesome-chatgpt)



7. ChatGPT逆向工程：[acheong08/ChatGPT: Reverse engineered ChatGPT API (github.com)](https://github.com/acheong08/ChatGPT)



8. [使用 Prompts 和 Chains 让 ChatGPT 成为神奇的生产力工具](https://github.com/howl-anderson/unlocking-the-power-of-llms)



## ChatGPT产业分析



1. 【ChatGPT全景图】

   1. [ChatGTP全景图 | 背景+技术篇 (qq.com)](https://mp.weixin.qq.com/s/Fl2dQyme4Ui29GygkDuNiQ)

   2. [ChatGPT全景图 | 产品+商业篇 (qq.com)](https://mp.weixin.qq.com/s/sXCiqgCocrZdaZ_sBsy-YQ)

   3. [ChatGPT全景图之三 | 全球竞争格局篇（上） (qq.com)](https://mp.weixin.qq.com/s/_bu8Kgar3hhvaJk5tjwa2w)

2. [微软宣布全线整合 ChatGPT，将带来哪些影响？ - 知乎 (zhihu.com)](https://www.zhihu.com/question/581818681)

3. [ChatGPT技术与商业落地观点评析：主流证券研究机构下的十五篇ChatGPT行业研究报告指引 (qq.com)](https://mp.weixin.qq.com/s/sj73DqDTwkSYg2WPAASVog)



## 如何体验ChatGPT



1. 【购买虚拟手机号使用自己邮箱注册】

   1. [OpenAI ChatGPT注册保姆级攻略，绝对有效 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/589642999)

   2. [如何注册ChatGPT - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/604713962)

   3. 这是个墙外的网址，知乎被封了可以看这个：[如何注册一个chatGPT账号？ - 衛斯理 - Medium](https://medium.com/@dykaknsjwkmsmwm/如何注册一个chatgpt账号-99646c841fb4)

   4. Youtube视频讲解：[亲测：QQ/163中国邮箱注册ChatGPT教程，ChatGPT中国用户如何验证手机号码，OpenAI保姆级注册操作教程 - YouTube](https://www.youtube.com/watch?v=SbuLXDHM6Zg&ab_channel=ivan逸凡)

2. 【淘宝买个号】

   1. 目前好像不行了

3. ChatGPT登录不了的，可以开全局梯子后，重新打开浏览器，进入无痕模式试试。