https://github.com/nakjun/llama-3.2-1b-instruct-korquad-finetune

Llama-3.2-1B-Instruct model and KorQuAD dataset Finetune project
https://github.com/nakjun/llama-3.2-1b-instruct-korquad-finetune

fine-tuning llama sllm

Last synced: 4 months ago
JSON representation

Llama-3.2-1B-Instruct model and KorQuAD dataset Finetune project

• Host: GitHub
• URL: https://github.com/nakjun/llama-3.2-1b-instruct-korquad-finetune
• Owner: nakjun
• Created: 2024-11-13T00:40:54.000Z (7 months ago)
• Default Branch: main
• Last Pushed: 2024-11-14T00:26:24.000Z (7 months ago)
• Last Synced: 2025-01-13T03:15:16.510Z (5 months ago)
• Topics: fine-tuning, llama, sllm
• Language: Python
• Homepage: https://huggingface.co/NakJun/Llama-3.2-1B-Instruct-korQuAD-v1
• Size: 4.71 MB
• Stars: 1
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: Readme.md

Awesome Lists containing this project

README

        
# Llama-3.2-1B-Instruct-korQuAD-v1



🤗 [**Hugging Face**](https://huggingface.co/NakJun/Llama-3.2-1B-Instruct-korQuAD-v1) - **21.9K Downloads**  



**Llama-3.2-1B-Instruct를 기반으로 한국어 질의응답 태스크를 fine-tuning, inference, evaluation 하는 프로젝트**

## basic

- 기본 모델: Llama-3.2-1B-Instruct

- 학습 데이터셋: KorQuAD v1.0

- 학습 방법: LoRA (Low-Rank Adaptation)

- 주요 태스크: 한국어 질의응답

## history

### v1.0.0(2024-10-02)

- 초기 버전 업로드

- KorQuAD v1.0 데이터셋 파인튜닝

### v1.1.0(2024-10-30)

- 모델 프롬프트 및 학습 방법 개선

- KorQuAD evaluate 코드 적용

## evaluation

| 모델 | Exact Match | F1 Score |

|------|-------------|----------|

| Llama-3.2-1B-Instruct-v1 | 18.86 | 37.2 |

| Llama-3.2-1B-Instruct-v2 | 36.07 | 59.03 |

※ https://korquad.github.io/category/1.0_KOR.html의 evaluation script 사용

## code description

```

1. fine_tuning.py

- 모델 파인튜닝 코드

- training_params 변경하여 학습 하이퍼파라미터 수정 가능

2. inference.py

- 모델 인퍼런스 코드

- 모델 경로 변경 후 사용 가능

3. evaluation.py

- 모델 이밸류에이션 코드

- KorQuAD evaluate를 위한 json 저장

4. evaluate-v1.0.py

- KorQuAD evaluate 코드 적용

- 평가 지표 출력(Exact Match, F1 Score)

$python evaluate-v1.0.py [dataset_file] [prediction_file]

```

## learning parameters

- step: 2000

- 배치 크기: 1

- 학습률: 2e-4

- 옵티마이저: AdamW (32-bit)

- LoRA 설정:

  - r: 16

  - lora_alpha: 16

  - 대상 모듈: ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "down_proj", "up_proj"]

  - lora_dropout: 0.01

## Contact

- [email protected]

- https://github.com/nakjun

- https://huggingface.co/NakJun/Llama-3.2-1B-Instruct-korQuAD-v1