https://github.com/youtecha320u/gguf_quant_gui

llama.cppのconvert_hf_to_gguf.pyとllama-imatrixとllama-quantizeでの一連のgguf量子化をGUI化するツール
https://github.com/youtecha320u/gguf_quant_gui

llamacpp python

Last synced: 9 days ago
JSON representation

llama.cppのconvert_hf_to_gguf.pyとllama-imatrixとllama-quantizeでの一連のgguf量子化をGUI化するツール

• Host: GitHub
• URL: https://github.com/youtecha320u/gguf_quant_gui
• Owner: YoutechA320U
• Created: 2025-02-01T13:40:03.000Z (9 days ago)
• Default Branch: master
• Last Pushed: 2025-02-01T13:59:02.000Z (9 days ago)
• Last Synced: 2025-02-01T14:33:12.986Z (9 days ago)
• Topics: llamacpp, python
• Language: Python
• Homepage:
• Size: 0 Bytes
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
## gguf_quant_gui

ダウンロード済のHuggingFaceのモデルを一定のルールでGGUF量子化するGUIツール。

## 使い方

* gguf_quant_gui.pyのllama_cpp_path=""にllama.cppをCUIで実行する際のディレクトリを記述します。

* 実行してGUIが開いたら必要なフィールドを入力します。

* 入力が完了したら"変換と量子化を実行"を押すと量子化が開始します。

* 変換が完了したら "量子化に成功しました"のメッセージウィンドウが表示されます。

* 中断する場合は"量子化を中止ボタンを押してください"

## 備考

* HuggingFaceモデルからGGUF変換する際はBF16で変換します。

* 既にBF16のGGUFが存在する場合はHFのディレクトリが空でも動作します

* imatrixはchunks 32で作成されます。

* imatrixデータセット及びimatrixファイルの保存先が空の場合はimatrixなしで量子化します。

* 必要なフィールドの入力が足りない場合は"必要なフィールドを入力してください。"のエラーメッセージが表示されます

* 量子化に失敗した場合はエラーメッセージが表示されます。

* 

## 履歴

    [2025/02/01] - 初回リリース

    [2025/02/02] - 量子化を中止ボタン追加、変換失敗で中途半端にファイルを出力した時の異常追加