Data

Tools

Indexes

Applications

Experiments

Awesome

An open API service indexing awesome lists of open source software.

awesome-llm

Awesome-LLM: a curated list of Large Language Model.🔥 大型语言模型（LLM）已经席卷了 全球，不再局限于 NLP 或 AI 社区。这里整理了一些关于大型语言模型，特别是与 ChatGPT 相关的研究论文，涵盖了 LLM 训练框架、部署工具、课程与教程，以及所有公开的 LLM 检查点和 API。
https://github.com/xiaomingx/awesome-llm

Last synced: 11 days ago
JSON representation

LLM书籍推荐

LLM 评估工具

LLM 加速与内核 (Acceleration & Kernels)

LLM 评估与数据

  • FlashInfer - 加速 FlashAttention，支持 2-5x 速度提升，LLM Serving 必备内核库。
  • DeepGEMM - DeepSeek 开源的高效 FP8 GEMM 内核，适用于极致性能优化。
  • DeepEP - 专家并行通信库，大幅提升 MoE 模型分布式训练效率。

LLM应用

LLM 评估工具

  • MLflow - 开源机器学习生命周期管理平台，支持实验跟踪、模型评估和部署。
  • YiVal - 开源的GenAI-Ops工具，用于调优和评估LLM模型的提示、配置及模型参数。
  • Prompttools - 用于测试和评估模型、向量数据库及提示的开源工具集。
  • Weights & Biases - 用于跟踪模型训练和提示优化实验的商业工具。
  • Weights & Biases - 用于跟踪模型训练和提示优化实验的商业工具。
  • LangChain - 用于构建LLM链式应用的流行Python库。

LLM应用与智能体 (Agent)

LLM 评估与数据

  • Dify - 开源的 LLM 应用开发平台，可视化编排 RAG 和 Agent。
  • MemGPT - 赋予 LLM 长期记忆和操作系统级别的上下文管理能力。
  • CrewAI - 编排角色扮演的 AI 智能体团队来共同完成任务。

LLM教程与课程

LLM 评估工具

LLM教程与课程 (2025版)

LLM 评估与数据

LLM相关思考

LLM 评估工具

LLM 编程助手 (AI Coding Assistants)

推理网关 (Inference Gateways)

  • Cline - 开源的自主编程 Agent 插件，能够执行终端命令、文件读写，配合 Claude 3.5 Sonnet 效果拔群。
  • Continue - 开源的 IDE 插件 (VS Code / JetBrains)，支持连接本地 Ollama 模型进行辅助编程。
  • Windsurf - Codeium 推出的 Agentic IDE，主打深度上下文感知和主动行动能力。

LLM训练框架

LLM 评估与数据

LLM 评估工具

  • torchtune - PyTorch原生库，用于对大规模语言模型（LLM）进行微调。
  • NeMo Framework - NVIDIA推出的生成式AI框架，支持LLM、语音识别（ASR）、文本到语音（TTS）等多个领域的研究。
  • Megatron-LM - 进行大规模Transformer模型训练的研究框架。
  • Colossal-AI - 让大型AI模型训练变得更便宜、更高效、更易访问。
  • BMTrain - 高效的大型模型训练框架。
  • Mesh TensorFlow - 提供便捷的模型并行化训练方案。
  • GPT-NeoX - 基于DeepSpeed库的GPU并行自回归Transformer模型实现。

LLM部署

LLM 评估工具

  • llm-inference-solutions
  • TGI - Hugging Face推出的LLM部署和服务工具包。
  • exllama - 为量化权重的Llama模型提供的更高效内存版本。
  • FastChat - 支持多种模型的分布式LLM服务系统，提供Web UI和OpenAI兼容的RESTful API。

LLM 部署与推理 (Deployment & Inference)

推理引擎 (Inference Engines)

  • llama.cpp - 边缘计算神器。纯 C++ 实现，针对 Apple Silicon 和 CPU 极致优化。
  • LMDeploy - InternLM 团队推出的高性能推理工具，TurboMind 引擎速度极快。
  • LightLLM - 纯 Python/Triton 实现的轻量级推理框架，易于修改和扩展。

推理网关 (Inference Gateways)

  • Inference Gateway - 企业级 AI 网关，统一管理 OpenAI/Ollama/Anthropic 等接口，支持 MCP 协议。
  • LiteLLM - 最流行代理。用统一的 OpenAI 格式调用 100+ 种 LLM API，支持负载均衡和成本追踪。
  • llm-d - Kubernetes 原生的分布式推理栈，集成了 vLLM 和网关。
  • Open WebUI - 功能最强大的本地 Web 界面，自带 RAG 和多模型管理。
  • BentoML - 将模型打包为生产级微服务的统一框架。

LLM部署与本地运行

LLM 评估与数据

  • SGLang - 针对复杂 Prompt 流程优化的推理框架，速度比 vLLM 更快。
  • vLLM - 生产环境的首选推理引擎，支持 PagedAttention，吞吐量极高。
  • LM Studio - 带有图形界面的本地模型运行工具，支持 GGUF 格式。
  • TensorRT-LLM - NVIDIA 官方推出的极致优化推理库。

LLM 预训练方法 (Pre-training Methods)

视频 (Video)

  • MiniMind - 从零构建小参数 LLM (26M起) 的全流程教程，适合低成本实验。
  • SO-Large-LM - 系统化的预训练开源教程，覆盖数据清洗、分词到 MoE 架构设计。
  • Happy-LLM - 专注 Transformer 原理实现的预训练实践项目。

其他相关论文

其他资源

LLM 评估工具

  • 主要LLM及数据可用性 - 主要LLM模型的概览及其数据可用性。
  • 500+最佳AI工具
  • Open-evals - 用于不同语言模型评估的扩展框架。
  • OpenAGI - 当LLM遇到领域专家时。
  • EasyEdit - 一个易于使用的框架，用于编辑大型语言模型。
  • chatgpt-shroud - 一个Chrome扩展，用于保护用户隐私，允许轻松隐藏和显示ChatGPT聊天记录。适合屏幕共享时使用。
  • Emergent Mind - 最新的AI新闻，由GPT-4解析和解释。
  • AutoGPT - 一个展示GPT-4功能的开源应用。
  • chatgpt-wrapper - 一个开源的Python API和CLI工具，用于与ChatGPT交互。

多模态嵌入 (Multimodal Embeddings)

视频 (Video)

  • ImageBind - Meta 开源的六模态统一嵌入空间 (图像/文本/音频/深度/热/IMU)。
  • CLIP - image-models)** - 图像文本对齐的基石模型与最大的视觉骨干库。
  • E5-V - 桥接 Llama3 与视觉模型的通用多模态嵌入。

多模态预训练 (Multimodal Pre-training)

视频 (Video)

  • VideoMAE - (V1/V2) 视频版 MAE，通过高掩码率自监督学习高效视频表示 (Kinetics-400 SOTA)。
  • VPT (Video Pre-Training) - OpenAI 用行为克隆从 Minecraft 视频大规模预训练代理模型。
  • EVL - 冻结 CLIP 骨干的高效视频学习器，极低训练成本实现高精度识别。

语音 (Audio)

  • SpeechBrain - PyTorch 语音工具包，支持 wav2vec 2.0/Whisper 等大规模自监督预训练。
  • S3PRL - 专注于自监督学习 (SSL) 的预训练框架，支持 HuBERT/TERA 等 Upstream 模型。

大型语言模型（LLM）排行榜

LLM 数据

LLM 评估与数据

LLM 评估工具

开源大语言模型 (LLM)

强化学习与机器人 (RL & Robotics)

具身智能 (Robotics/Embodied AI)

  • MuJoCo - DeepMind 开源的高精度物理引擎，RL 机器人研究的标准环境。
  • OpenManipulator - 基于 ROS 的开源机械臂平台，支持完整的仿真到实物迁移。

强化学习 (Reinforcement Learning)

  • Stable-Baselines3 - 基于 PyTorch 的标准 RL 算法实现 (PPO, TD3, SAC)，稳定可靠。
  • RLlib (Ray) - 工业级分布式 RL 训练框架，支持大规模多智能体环境。
  • CleanRL - 单文件实现的 RL 算法库 (PPO/DQN)，代码极其简洁，适合入门与魔改。
  • Easy-RL - 经典的强化学习中文教程（蘑菇书），配套完善的代码实践。

提示工程与优化 (Prompt Engineering)

推理网关 (Inference Gateways)

  • DSPy - 斯坦福推出的框架，主张“编程”而非“提示”语言模型，通过编译自动优化 Prompt。
  • Promptfoo - 开发者友好的 LLM 测试工具，用于评估 Prompt 质量和模型输出，防止回归。

模型仓库与数据管理 (Model Registries)

推理网关 (Inference Gateways)

  • KohakuHub - 自托管的 Hugging Face 替代方案，支持 Git-like 版本控制，适合企业内部私有部署。
  • DagsHub - 结合 GitHub + DVC 的开源 ML 平台，提供实验跟踪和数据版本管理。

热门 LLM 项目

  • Deep-Live-Cam - 依然热门的实时换脸工具，仅需单张图片即可实现视频深度伪造。
  • GPT-SoVITS - 只需 1 分钟的语音数据，就能训练出优秀的语音合成模型！（少样本语音克隆）。
  • MiniCPM-V 2.6 - 一款可以在手机上使用的 GPT-4V 级别的 MLLM，支持单图、多图和视频处理。
  • DeepSeek-R1 - 开源界的推理模型里程碑，通过强化学习激发了类似 OpenAI o1 的深度思考能力。
  • OpenAI o1/o3 - 开启了“系统2”思维时代，通过思维链（CoT）在复杂数学、编程和科学问题上实现了突破性表现。
  • Ollama - 目前最流行的本地 LLM 运行工具，支持一键运行 Llama 3.3, Gemma 2, Mistral 等模型。
  • Gemini 3 - Google 的多模态跃进之作，支持百万级 Token 上下文，具备强大的 UI 生成及前端编码能力。

重要论文里程碑