Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/inuinu2022/kotokanade
KotoKanade is a tool to make VoiSona Talk sing.
https://github.com/inuinu2022/kotokanade
ccs cevio tstprj vocal-synthesis voisona voisonatalk
Last synced: about 1 month ago
JSON representation
KotoKanade is a tool to make VoiSona Talk sing.
- Host: GitHub
- URL: https://github.com/inuinu2022/kotokanade
- Owner: InuInu2022
- License: mit
- Created: 2023-12-20T23:24:06.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2024-03-31T03:45:24.000Z (9 months ago)
- Last Synced: 2024-03-31T19:26:05.204Z (9 months ago)
- Topics: ccs, cevio, tstprj, vocal-synthesis, voisona, voisonatalk
- Language: C#
- Homepage:
- Size: 28.2 MB
- Stars: 2
- Watchers: 1
- Forks: 0
- Open Issues: 7
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# KotoKanade (言奏)
KotoKanade
**KotoKanade** は[VoiSona Talk](https://voisona.com/talk/)を”歌わせる”ツールです。
**KotoKanade**, this is a tool for "Singing" [VoiSona Talk](https://voisona.com/talk/).
---
[](LICENSE) [](https://learn.microsoft.com/ja-jp/dotnet/csharp/)  [](https://avaloniaui.net/) [](https://github.com/kekyo/Epoxy)
  
[](https://voisona.com/talk/)
## Video
- タカハシを歌わせるソフト作ってみた 【KotoKanade】
- [](https://youtu.be/UzbBSFkNrrE?si=YhKhG1W6iTgN99QX)
## Blog
- [VoiSona Talkを"歌わせる"ソフト「KotoKanade」リリースしました｜いぬいぬ](https://note.com/inuinu_/n/n0c79f600b5eb)
- [VoiSona Talkをなめらかに歌わせるようにしてみた【KotoKanade】｜いぬいぬ](https://note.com/inuinu_/n/n1816a04151d7)
## 最新版ダウンロード / Download latest
- **[Download KotoKanade](https://github.com/InuInu2022/KotoKanade/releases/latest)**
- ダウンロード方法
- 上から一番新しい物を選んでzipファイルをダウンロードして展開して使ってください
- アップデートはそのまま上書きしてください
- アンインストールは展開したフォルダをまるごと消してください
- サポートOS
- Windows10/11
- macOS（動作未確認）
- Linux（動作未確認）
- [ニコニ・コモンズ nc326561](https://commons.nicovideo.jp/works/nc326561)
- ニコニコ動画等で投稿する作品で使用した場合、利用登録してくださるとうれしいです
- ※登録は必須ではありません
## アップデート通知・更新 / Update apps and cast data
アプリかボイスライブラリの情報([cast-data](https://github.com/InuInu2022/cevio-casts))に更新があるとアプリ上に通知が入ります。
- アプリのダウンロード
- アプリの更新があると通知され、アプリの上からダウンロードできます
- 設定タブの `Go to download link` をクリックするとgithubからアプリのzipファイルをダウンロードします
- 展開して上書きして使ってください
- ボイスライブラリの情報(cast-data)更新
- ボイスライブラリの情報に更新があると通知され、アプリの上から更新できます
- ⚠ソングボイスライブラリの情報も含まれるため、トークボイスライブラリの情報だけを使っているKotoKanadeでは **更新しても変化がない場合があります**
## Sample
### ピッチ歌唱指導機能のサンプル
- [【双葉湊音トーク】だんだん早くなる / 40mP【VoiSona Talk歌唱/KotoKanade】 - ニコニコ](https://www.nicovideo.jp/watch/sm43463155)
- [](https://www.nicovideo.jp/watch/sm43463155)
- [【VoiSona Talk歌唱】いかないで / 想太 (ピッチ歌唱指導ver)【すずきつづみcover / KotoKanade】](https://youtu.be/60IfYwDsmow)
- [【VoiSona Talk歌唱】１／６の夢旅人２００２ / 樋口了一 (アカペラピッチ歌唱指導ver)【タカハシcover/KotoKanade】](https://youtu.be/2sXRQ8-Wj2U)
- [【VoiSona Talk歌唱】Pretender / Official髭男dism (ピッチ歌唱指導機能ver.)【タカハシ/cover/KotoKanade】](https://youtu.be/rvw4rAfsMzk)
### タイミング歌唱指導のサンプル
- [【VoiSonaTalk歌唱】Pretender / Official髭男dism【cover/タカハシ/KotoKanade】](https://youtu.be/-GHdryTwpBM)
- [[タカハシ] １／６の夢旅人２００２ アカペラ / 樋口 了一 [cover/test/VoiSona Talk タカハシ]](https://youtu.be/N3fp7G-e4so)
### 以下は旧バージョンで制作したものです
- [【VoiSona Talk歌唱】いかないで / 想太 (offset ver.2)【すずきつづみcover】](https://utaloader.net/music/20231229200356536133)
- [【VoiSona Talk歌唱】いかないで / 想太 【タカハシcover】](https://utaloader.net/music/20231229204427612049)
- [「宇宙戦艦"ア"マト / ささきいさお」 タカハシアカペラカバー１フレーズ](https://youtu.be/lnJEOS__mTo)
- [「酔いどれ知らず / Kanaria」 田中傘アカペラカバー](https://youtu.be/LGDpAN4goIs)
## できること
### A. Score Only
歌唱指導を使わずに楽譜データから”歌わせ”ます。
（この段階では）機械的な歌声になります。
ノートに合わせた平坦なピッチを生成します。
※手で調声するベースとしても使えます。
#### 用意するもの
- CeVIOの楽譜ファイル(`.ccs` or `.ccst`)
- [VoiSona(song)](https://voisona.com/) または [Utaformatix](https://sdercolin.github.io/utaformatix3/)でMIDIなどから変換してください
#### つかいかた
1. ソング用の`ccs` or `ccst`ファイルを用意します
1. 現在は1トラックのみ対応
2. 読み込みます
3. 歌わせるトークボイスライブラリを選択します
4. 必要ならば細かい設定を行います
5. 「Save」ボタンで出力します
6. 出力された`tstprj`ファイルをVoiSona Talkで読み取り、再生します
#### A. オプション
- Split notes
- ノートを分割するかどうか
- ※トークボイス音源は長い発音が苦手なためONを推奨
- Split threthold msec.
- ノートを分割する基準値
- Consonant pffset sec.
- 子音部分をノートの開始時刻からオフセットします
- 自然な歌は子音がノートの開始時刻より前になります
#### A. 制限
- 歌詞は日本語のみ
- 歌詞はCeVIOソングなどと異なり、漢字かな交じりに対応しています
- むしろ漢字かな交じりの方が発音が正確になります
- 読み（音素）の差し替えは未対応
- 逆に助詞の「は」は `[w,a]` と自動で発音します
- `[h,a]`と喋らせたい場合、歌詞をカタカナの「ハ」にかえるとうまくいきます
- ノートのアーティキュレーション未対応
- ブレス記号はセリフの分割に使われます
- なのでノートくっつけても大丈夫 むしろ推奨
- 歌詞の記号は無視されます
- `※`,`$`,`’`,`@`,`%`,`^`,`_`
- 子音オフセット値は固定値
- 自分で調整する時の基準にしてください
- 長過ぎる時間を指定すると破綻します！！！
- ノート分割オプションは常にONを推奨
- 新エンジンのボイス以外は長い発音が途切れるため
#### コツ
- 「は」を`[w,a]`と読んでしまう時
- 歌詞をカタカナの「ハ」にかえる
- 「きょう」を`[k,y,o]`ではなく`[k,y,u]`とよんでしまう時
- 歌詞を「きょー」にかえる
### B. Score + Timing
タイミングに歌唱指導を使って歌わせます。
発音はまだ機械的ですが、タイミングが自然になります。
※手で調声するベースとしても使えます。
#### B. 用意するもの
- CeVIOの楽譜ファイル(`.ccs` or `.ccst`)
- [VoiSona(song)](https://voisona.com/) または [Utaformatix](https://sdercolin.github.io/utaformatix3/)でMIDIなどから変換してください
- 歌唱指導用のタイミング情報ファイル(`.lab`)
- 上記の楽譜ファイルを歌わせた時に同時生成されるもの
- CeVIOソング/VoiSona(ソング)などで生成できます
#### 作品投稿の際は…
- 歌唱指導をする際は、ボイスライブラリの利用規約に従ってください
- 歌唱指導した作品を公開するときは、以下のように元のボイスライブラリがわかるようにしてください
> 歌唱指導 さとうささら（CeVIO AI）
#### B. オプション
- Split notes
- ノートを分割するかどうか
- ※トークボイス音源は長い発音が苦手なためONを推奨
- Split threthold msec.
- ノートを分割する基準値
#### B. 制限
- 歌詞は日本語のみ
- 読み（音素）の差し替えは**NG**
- 音素数が異なるとバグります
- 歌詞の記号は無視されます
- ノートのアーティキュレーション未対応
- ノート分割オプションは常にONを推奨
- 新エンジンのボイス以外は長い発音が途切れるため
### C. Score + Timing + Wav
ピッチに歌唱指導を使って歌わせます。
タイミングだけの歌唱指導と異なり、なめらかに歌うようになります。
※合成（解析）にやや時間が掛かります。性能の良いパソコンで長い曲で10秒程度かかります。
#### C. 用意するもの
- CeVIOの楽譜ファイル(`.ccs` or `.ccst`)
- [VoiSona(song)](https://voisona.com/) または [Utaformatix](https://sdercolin.github.io/utaformatix3/)でMIDIなどから変換してください
- 歌唱指導用のタイミング情報ファイル(`.lab`)
- 上記の楽譜ファイルを歌わせた時に同時生成されるもの
- CeVIOソング/VoiSona(ソング)などで生成できます
- 歌唱指導用のボーカル音声ファイル(`.wav / .mp3`など)
- 上記とタイミングのあった音声ファイル
- 16bit 48kbps wav形式以外もサポートしていますが内部で変換処理が入ります
#### C. 作品投稿の際は…
- 歌唱指導をする際は、ボイスライブラリの利用規約に従ってください
- 歌唱指導した作品を公開するときは、以下のように元のボイスライブラリがわかるようにしてください
> 歌唱指導 さとうささら（CeVIO AI）
#### C. オプション
- Split notes
- ノートを分割するかどうか
- ※トークボイス音源は長い発音が苦手なためONを推奨
- Split threthold msec.
- ノートを分割する基準値
- Use fast estimation
- 高速解析をやるかどうか
- Auto tuning bottom estimation threthold
- 試験機能
- 解析対象の最小値を自動で判定するか
- デフォルトはOFFです
- Bottom estimation threthold Hz.
- 解析対象の最小値(Hz.)
- 大きくすると解析が速くなりますが、低い音が正しく解析できなくなります
#### C. 制限
- 歌詞は日本語のみ
- 読み（音素）の差し替えは**NG**
- 音素数が異なるとバグります
- 歌詞の記号は無視されます
- ノートのアーティキュレーション未対応
- ノート分割オプションは常にONを推奨
- 新エンジンのボイス以外は長い発音が途切れるため
## DL
1. [github Release](https://github.com/InuInu2022/KotoKanade/releases/latest)からDL
2. 【v1.0.0-beta.13以降】本来アプデがある場合はアプリ上からDLできます
## Build
- .NET SDK 8以降
- [Open JTalk](https://open-jtalk.sourceforge.net/)の辞書が必要です。→[DL先](http://downloads.sourceforge.net/open-jtalk/open_jtalk_dic_utf_8-1.11.tar.gz)
- `/lib/`フォルダに置いてください
## Licenses
```text
MIT License
Copyright (c) 2024 いぬいぬ
```
```text
MIT License
Copyright (c) 2024 いぬいぬ
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
```
## Resources
- [Epoxy GitHub repository](https://github.com/kekyo/Epoxy)
## Projects
- `KotoKanade.Core`: Independent common component project includes MVVM `Model` code.
- `KotoKanade.UI`: UI (independent platform) project includes MVVM `View` and `ViewModel` code.
- `KotoKanade.Desktop`: The desktop application project code.
- `KotoKanade.Browser`: The web browser application project code.
- `KotoKanade.Android`: Android application project code.
- `KotoKanade.iOS`: iOS application project code.