https://github.com/oshizo/gpt_index_japanese_trial

https://github.com/oshizo/gpt_index_japanese_trial

Last synced: 2 days ago
JSON representation

• Host: GitHub
• URL: https://github.com/oshizo/gpt_index_japanese_trial
• Owner: oshizo
• Created: 2023-01-18T15:40:21.000Z (almost 2 years ago)
• Default Branch: main
• Last Pushed: 2023-01-19T09:32:58.000Z (almost 2 years ago)
• Last Synced: 2024-08-03T13:14:08.226Z (3 months ago)
• Language: Jupyter Notebook
• Size: 25.4 KB
• Stars: 19
• Watchers: 1
• Forks: 2
• Open Issues: 1
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# gpt_index_japanese_trial

このリポジトリは、gpt-index(0.2.5)をOpenAI APIの代わりにHuggingfaceの日本語モデルを使って行った試みのスクリプトを共有するためのものです。

記事

https://note.com/oshizo/n/n137aaa2c29d4

## 動かしてみたい場合

`pip install requirements.txt`を行って`gpt-index_trial.ipynb`を実行してください。

## gpt-indexで使えるQAモデルの学習データセット作成とモデル学習を行いたい場合

`create_dataset.ipynb`を使って`train.csv`を作成し

Google Colab ProのA100で`train_qa_refine.ipynb`を実行してください。

ベースモデルをmediumサイズに変更することで、T4でも学習が可能です。

学習環境の依存ライブラリは`requirements-train.txt`に記載しています。