Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/Glanvery/LLM-Travel
欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。
https://github.com/Glanvery/LLM-Travel
Last synced: 3 months ago
JSON representation
欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。
- Host: GitHub
- URL: https://github.com/Glanvery/LLM-Travel
- Owner: Glanvery
- License: apache-2.0
- Created: 2023-10-02T08:37:16.000Z (over 1 year ago)
- Default Branch: main
- Last Pushed: 2024-07-21T06:49:43.000Z (6 months ago)
- Last Synced: 2024-07-21T07:43:50.403Z (6 months ago)
- Language: Jupyter Notebook
- Size: 62.5 KB
- Stars: 226
- Watchers: 1
- Forks: 27
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
- awesome-LLM-resourses - LLM-Travel
README
# LLM-Travel
 [](LICENSE) 
## Introduction
欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。
文章在知乎：https://www.zhihu.com/people/allenvery/posts
### 这里会有什么 🌟
- **技术讲解**: 通过清晰且深入的文章，尽力揭示大语言模型的相关技术，探讨其背后的数学、算法和架构，帮助您理解它们的运作机制。
- **实用代码实现**: 每篇实践性技术文章会配置相应的实践代码，帮助更好的理解和实现。
- **解答疑问与讨论**: 欢迎提出问题、分享想法，以及想看到哪些内容，一起探讨大语言模型！
### 加入旅程 🌏
搭乘 "LLM-travel" 列车，一起探索大语言模型的奇妙世界！
## 已更新内容
Date| Title(知乎链接)| Code| Note
:---|---|---|---
2024-06-23|[LLM大模型之Hallucination幻觉](https://zhuanlan.zhihu.com/p/703034375)|[无]()|LLM大模型之Hallucination幻觉
2024-06-03|[LLM大模型之分布式训练小结](https://zhuanlan.zhihu.com/p/699938704)|[无]()|LLM大模型之分布式训练小结
2024-05-10|[LLM大模型之训练优化方法](https://zhuanlan.zhihu.com/p/698787661)|[无]()|LLM大模型之训练优化方法
2024-04-09|[Transformer实践](https://www.zhihu.com/question/445556653/answer/3460351120)|[Transformer_torch](https://github.com/Glanvery/LLM-Travel/blob/main/transformer_torch.ipynb)|Transformer实践
2023-12-16|[LLM之Deepspeed实践](https://www.zhihu.com/question/371094177/answer/3330130413)|[无]()|Deepspeed实践
2023-11-11|[LLM之数据质量](https://zhuanlan.zhihu.com/p/670365989)|[quality_hash.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/quality_hash.ipynb)|LLM大模型之大规模数据文本质量(Text Quality)实践一
2023-11-04|[LLM之Trainer](https://zhuanlan.zhihu.com/p/662619853)|[无]()|LLM大模型之Trainer以及训练参数
2023-10-14|[LLM之数据处理二](https://zhuanlan.zhihu.com/p/661421095)|[无]()|LLM大模型之大规模数据处理工具篇Hadoop-Spark集群安装
2023-10-10|[LLM之开源数据整理](https://www.zhihu.com/question/609604943/answer/3248054165)|[LLM_Pretrain_Datasets](https://github.com/Glanvery/LLM-Travel/blob/main/LLM_Pretrain_Datasets.md)|开源的可用于LLM Pretrain数据集
2023-10-10|[LLM之数据处理一](https://zhuanlan.zhihu.com/p/660806587)|[无]()|LLM大模型之大规模数据处理工具篇Hadoop-Spark集群介绍
2023-09-30|[LLM之显存占用](https://zhuanlan.zhihu.com/p/658343628)|[memory_precision.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/memory_precision.ipynb)|不同精度下显存占用与相互转换实践
2023-09-29|[LLM之精度问题详解](https://zhuanlan.zhihu.com/p/657886517)|[precision.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/precision.ipynb)|精度问题（FP16，FP32，BF16）详解与实践
2023-09-24|[LLM之Embedding初始化](https://zhuanlan.zhihu.com/p/656335338)|[embedding_init.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/embedding_init.ipynb)|扩充词表后Embedding和LM_head层的初始化
2023-09-23|[LLM之扩充词表](https://zhuanlan.zhihu.com/p/655281268)|[sentencepiece.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/sentencepiece.ipynb)|基于SentencePiece扩充LLaMa中文词表实践
2023-09-16|[LLM之Generate参数详解](https://zhuanlan.zhihu.com/p/653926703)|[generate_parameter.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/generate_parameter.ipynb)|Generate/Inference（生成/推理）中参数与解码策略原理及其代码实现
2023-09-09|[LLM之Tokenization分词方法](https://zhuanlan.zhihu.com/p/652520262)|[tokenization.ipynb](https://github.com/Glanvery/LLM-Travel/blob/main/tokenization.ipynb)|WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现