https://github.com/kunishou/Japanese-Alpaca-LoRA

https://github.com/kunishou/Japanese-Alpaca-LoRA

Last synced: 2 days ago
JSON representation

• Host: GitHub
• URL: https://github.com/kunishou/Japanese-Alpaca-LoRA
• Owner: kunishou
• Created: 2023-03-22T14:04:55.000Z (over 1 year ago)
• Default Branch: main
• Last Pushed: 2023-04-02T20:31:02.000Z (over 1 year ago)
• Last Synced: 2024-08-03T13:14:07.530Z (3 months ago)
• Language: Jupyter Notebook
• Size: 665 KB
• Stars: 142
• Watchers: 3
• Forks: 13
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        


  

# 🦙🌲🤏🌸 Japanese-Alpaca-LoRA 🌸

日本語に翻訳したStanford Alpacaのデータセットを用いてLLaMAをファインチューニングし作成したLow-Rank AdapterのリンクとGenerateサンプルコード

### Japanese-Alpaca-LoRA-7b DEMOページ (期間限定公開)  

※ 当初のデモ公開期間は終了しましたが [@_kaiinui](https://twitter.com/_kaiinui) 様のマシンにホスティングしていただき提供を再開いたしました。ご厚意に感謝いたします。

https://jalpaca.infertron.com/

Instruct : 指示を入力  

Input : 付属情報を入力  

Temparature : 生成する回答の多様性度合い    

Beams : 生成する回答の候補数  

Max_tokens : 生成する回答の長さ  

入力例：  

instruct : 次の文章を要約して下さい。  

input : ディープラーニングまたは深層学習とは、対象の全体像から細部までの各々の粒度の概念を階層構造として関連させて学習する手法のことである。コーセラの共同創業者であるアンドリュー・ンによれば、「人工知能への第一歩」という認識は正しいのだという。

### Try the pretrained model using google colab

Google Colabで実行したい場合は以下より（30Bなどの大きいモデルはProプラン以上でA100を使わないと動かないかも）

※ 30BモデルはMax_tokensを128にしないとエラーが出ることがあります。    



### LoRA on Hugging Face

Japanese-Alpaca-LoRA 7b, 13B, 30B, 65B

https://huggingface.co/kunishou

### 参考

Stanford Alpaca  

https://github.com/tatsu-lab/stanford_alpaca  

Alpaca-LoRA  

https://github.com/tloen/alpaca-lora  

### スポンサー

[@_kaiinui](https://twitter.com/_kaiinui) 様