https://github.com/zrzrzrzrzrzrzr/lm-fly

大模型推理框架加速，让 LLM 飞起来
https://github.com/zrzrzrzrzrzrzr/lm-fly

llm llm-inference mlx openvino tensorrt-llm tgi vllm

Last synced: 6 months ago
JSON representation

大模型推理框架加速，让 LLM 飞起来

• Host: GitHub
• URL: https://github.com/zrzrzrzrzrzrzr/lm-fly
• Owner: zRzRzRzRzRzRzR
• License: mit
• Created: 2024-04-26T06:41:28.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2024-05-10T07:02:47.000Z (about 1 year ago)
• Last Synced: 2024-12-23T08:16:34.809Z (6 months ago)
• Topics: llm, llm-inference, mlx, openvino, tensorrt-llm, tgi, vllm
• Language: Python
• Homepage:
• Size: 7.45 MB
• Stars: 17
• Watchers: 3
• Forks: 4
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# lm-fly












    👋 大模型本地部署加速之路，让大模型推理飞起来



## 项目介绍

欢迎来到本仓库，这里将会陆续提供加速框架的最简单实操。

本仓库将会提供几种主流LLM加速框架的快速实战和体验，通常包括：

1. UI界面：在各个加速框架的基础上，提供简单的gradio web界面，方便用户进行加速任务的提交和管理。

2. openai接口：提供openai接口，方便用户通过代码进行加速任务的提交和管理。

3. 压力测试：提供压力测试脚本，方便用户进行加速任务的压力测试。

## 项目更新

- 🔥 ```2024-4-27```: 添加了TensorRT-LLM和OpenVINO的基础支持。

## 支持 & 学习的加速框架和硬件

我们展示了学习路线：

![展示](assets/outline.png)

下表展现了我们现在对本仓库中回考虑的支持库框架的学习和适配顺序，项目才刚刚开始，如果您对本项目有兴趣，欢迎贡献PR或联系我！

+ ✓ ： 已经提供代码或者教程

+ ✗ ： 未提供代码或教程（还在书写或者学习中）

+ / ： 框架不支持

| LLM加速框架      | 是否支持 | gradio UI | openai接口 | 压力测试 | 微调 | 厂家          |

|--------------|------|-----------|----------|------|----|-------------|

| TensorrT-LLM | ✓    | ✓         | ✓        | ✓    | /  | NVIDIA      |

| OpenVINO     | ✓    | ✓         | ✓        | ✓    | /  | Intel       |

| VLLM         | ✓    | ✗         | ✓        | ✓    | /  | lmsys       |

| MLX          | ✗    | ✗         | ✗        | ✗    | ✓  | Apple       |

| TGI          | ✗    | ✗         | ✗        | ✗    | ✗  | HuggingFace |