https://github.com/litongjava/open-chat-server

https://github.com/litongjava/open-chat-server

Last synced: about 2 months ago
JSON representation

• Host: GitHub
• URL: https://github.com/litongjava/open-chat-server
• Owner: litongjava
• Created: 2024-05-23T14:19:49.000Z (8 months ago)
• Default Branch: main
• Last Pushed: 2024-06-01T01:34:27.000Z (8 months ago)
• Last Synced: 2024-06-01T02:41:08.038Z (8 months ago)
• Language: Java
• Size: 87.9 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: readme cn.md

Awesome Lists containing this project

README

        
# open-chat-server

基于 Java 语言的大模型后端应用开发框架，目前已经支持 open-webui。

## 启动

```sh

EXPORT OPENAI_API_KEY=""

java -jar target/open-chat-server-1.0.jar

```

启动后监听 80 端口，例如，我的 IP 地址是 `http://192.168.3.8`。

## 使用 open-webui 对接

```sh

docker run -d -p 3000:8080 \

  -v open-webui:/app/backend/data \

  -e OPENAI_API_BASE_URLS="http://192.168.3.8/openai/v1" \

  -e OPENAI_API_KEYS="contact https://github.com/litongjava" \

  --name open-webui \

  --restart always \

  ghcr.io/open-webui/open-webui:main

```

指定 `OPENAI_API_BASE_URLS` 为 open-chat-server 后端 IP，`OPENAI_API_KEYS` 可以随便填写，open-chat-server 会自动解析报文，并替换为指定的 `OPENAI_API_KEY`。

## 发送消息测试

测试效果：

![测试图片](readme_files/1.jpg)

## 消息流程

1. web 界面输入消息（这里是 open-webui）。

2. open-webui 将消息转发到应用端（这里是 open-chat-server）。

3. open-chat-server 将消息发送到大模型（这里是 OpenAI ChatGPT）。

4. ChatGPT 返回消息到 open-chat-server，open-chat-server 再将消息返回到 open-webui，open-webui 展示消息。

## 二次开发

开发者可以对 open-chat-server 进行二次开发，开发特定领域的 AI 代理。