https://github.com/mitsuhiro-kuriki/openaivrmcharacterchat
Using OpenAI API (GPT) and Azure Speech Studio (Speech2Text and Text2Speech) for speech recognition, you can enjoy conversations with 3D(.vrm) characters.
https://github.com/mitsuhiro-kuriki/openaivrmcharacterchat
3d 3d-models azure django django-application django-channels javascript openai-api python speech-to-text text-to-speech three-js three-vrm vrchat vrm websocket
Last synced: 2 months ago
JSON representation
Using OpenAI API (GPT) and Azure Speech Studio (Speech2Text and Text2Speech) for speech recognition, you can enjoy conversations with 3D(.vrm) characters.
- Host: GitHub
- URL: https://github.com/mitsuhiro-kuriki/openaivrmcharacterchat
- Owner: MITSUHIRO-KURIKI
- License: mit
- Created: 2024-09-26T14:11:21.000Z (7 months ago)
- Default Branch: main
- Last Pushed: 2025-02-28T19:07:28.000Z (2 months ago)
- Last Synced: 2025-02-28T21:20:42.338Z (2 months ago)
- Topics: 3d, 3d-models, azure, django, django-application, django-channels, javascript, openai-api, python, speech-to-text, text-to-speech, three-js, three-vrm, vrchat, vrm, websocket
- Language: TypeScript
- Homepage:
- Size: 84.8 MB
- Stars: 1
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# OpenAIVRMCharacterChat
上記サンプルイメージでは、[フリー素材キャラクター「つくよみちゃん」](https://tyc.rei-yumesaki.net/ "フリー素材キャラクター「つくよみちゃん」") （© Rei Yumesaki）を使用しています。
## What is this?
[OpenAI API](https://openai.com/blog/openai-api "OpenAI API")と音声認識に[Azure Speech Studio](https://azure.microsoft.com/ja-jp/products/ai-services/ai-speech "Azure Speech Studio")を利用したVRMとの会話アプリを学習として作成しました
## 設置
#### 1. `backend > .env` ファイルへの各種クラウドサービス情報の記載
`backend > .env` file: Configure various cloud services
###### AZURE_SPEECH_SERVICE の設定 (VRMでの音声会話に使用)
Azure Speech Service settings (used for voice conversations in VRM)
```
AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY='*** YOUR AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY ***'
AZURE_SPEECH_SERVICES_REGION='*** YOUR AZURE_SPEECH_SERVICES_REGION ***'
```
###### OpenAI API KEYの設定 (GPT系統のモデル利用時に使用)
OpenAI API KEY settings (used when utilizing GPT-based models)
```
OPENAI_API_KEY='*** YOUR OPENAI_API_KEY ***'
```
#### 2. `frontend > public > services > vrmchat > vrm` へダウンロードした3Dモデル(`.vrm`)を格納します
`frontend > public > services > vrmchat > vrm`: Place the downloaded 3D model (`.vrm`)
3Dモデル(`.vrm`)はお好きなものをおいてください。モデルサイズ等に応じて、 `frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx` のカメラ位置等を修正ください。
You can place any 3D model you like. Depending on the model size, adjust the camera position, etc. in `frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx`.
サンプルイメージに使用したのは[つくよみちゃん公式3Dモデル タイプA](https://tyc.rei-yumesaki.net/material/avatar/3d-a/ "つくよみちゃん公式3Dモデル タイプA")「①通常版（VRM）」です。
The sample image used is the official ["Tsukuyomi-chan" 3D model Type A](https://tyc.rei-yumesaki.net/material/avatar/3d-a/ "Tsukuyomi-chan” 3D model Type A") "① Normal version (VRM).”
## 実行 `run`
> [!NOTE]
> DefaultAdminユーザー (以下でログインできます)
DefaultAdmin user (you can log in with the following credentials)
> Email: `admin★admin.com` (★→@)
> Password: `defaultPwd123`
```
$ docker-compose up -d --build
```
-> :coffee:
-> [http://localhost:3000/](http://localhost:3000/ "localhost:3000")
* 開発時
development
```
$ docker-compose -f docker-compose.dev.yml up -d --build
```
## 主な実行環境
執筆前
## Other
本アプリケーションで使われる各種ライブラリのライセンスは改変したものを含めて本ライセンスには含まれません。各種ライブラリの原ライセンスに従って利用してください。
Licenses for the various libraries used in the application are not included in the license. Please use them in accordance with the license of each library.
## suppl.
執筆前