https://github.com/adysec/ollama_load_balancer
Ollama负载均衡服务器 | 一款高性能、易配置的开源负载均衡服务器，优化Ollama负载。它能够帮助您提高应用程序的可用性和响应速度，同时确保系统资源的有效利用。
https://github.com/adysec/ollama_load_balancer
ai deepseek-r1 embed embedded embeddings gpt llm ollama ollama-api ollama-app ollama-chat ollama-client qwq
Last synced: 3 months ago
JSON representation
Ollama负载均衡服务器 | 一款高性能、易配置的开源负载均衡服务器，优化Ollama负载。它能够帮助您提高应用程序的可用性和响应速度，同时确保系统资源的有效利用。
- Host: GitHub
- URL: https://github.com/adysec/ollama_load_balancer
- Owner: adysec
- Created: 2025-03-10T09:41:45.000Z (3 months ago)
- Default Branch: main
- Last Pushed: 2025-03-10T10:23:42.000Z (3 months ago)
- Last Synced: 2025-03-10T10:36:07.302Z (3 months ago)
- Topics: ai, deepseek-r1, embed, embedded, embeddings, gpt, llm, ollama, ollama-api, ollama-app, ollama-chat, ollama-client, qwq
- Homepage:
- Size: 0 Bytes
- Stars: 51
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Ollama 负载均衡服务器
Ollama 负载均衡服务器是一款高性能、易配置的开源负载均衡服务器，优化Ollama负载。它能够帮助您提高应用程序的可用性和响应速度，同时确保系统资源的有效利用。
## 特性
- **高性能** - 采用先进的算法和技术来实现高效的请求分发。
- **易配置** - 简单直观的配置文件使得部署和调整变得轻而易举。
- **可扩展性** - 支持动态添加或移除后端服务节点，无需重启服务器。
- **安全性** - 无原有Ollama漏洞利用路径相关路由，无法通过该负载均衡服务器删除源服务器模型及数据。
## 使用场景
- 提升Web应用和服务的可用性
- 均衡分布式系统的负载
- 快速故障转移和恢复
- 作为代理服务器，不使原生ollama端口对外暴露
## 说明
`ollama.db`: 存储源服务器列表，通过`/api/tags`接口获取，可使用自建Ollama或公网开放的Ollama服务器
## 支持接口
`/`: Ollama is running
`/api/tags`: 已启用的模型列表
`/v1/models`: 已启用的模型列表(OpenAI接口)
`/api/version`: Ollama版本号
`/api/chat`：LLM模型调用
`/api/embed`：embedding模型调用
`/api/embeddings`：embedding模型调用
不支持`/api/show`、`/api/copy`、`/api/create`、`/api/push`、`/api/delete`、`/api/pull`、`/api/ps`等有一定危险性的接口