https://github.com/hokim98/huggingface-onnx-tutorial

https://github.com/hokim98/huggingface-onnx-tutorial

Last synced: about 7 hours ago
JSON representation

• Host: GitHub
• URL: https://github.com/hokim98/huggingface-onnx-tutorial
• Owner: HoKim98
• License: unlicense
• Created: 2022-04-10T15:02:38.000Z (over 2 years ago)
• Default Branch: master
• Last Pushed: 2023-02-13T00:10:44.000Z (almost 2 years ago)
• Last Synced: 2024-05-13T10:20:36.387Z (6 months ago)
• Language: Python
• Size: 26.4 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# Huggingface + ONNX + Rust = OK

Huggingface 내 서비스되는 모델을 ONNX로 변환 후 테스트하는 예제입니다.

## Tutorial

### 1. Convert a model with Python

```bash

# 1. 필수 요소 설치: pytorch, transformers, onnxruntime

# - 원하시는 방식으로 설치를 진행해주세요.

# 2. Huggingface 모델 가져오기

python -m transformers.onnx \

    --model=deepset/roberta-base-squad2 \  # 사용하고자 하는 모델명

    --feature question-answering \  # 모델의 기능

    onnx  # 저장할 디렉토리

# 3. 테스트하기

python question-answering.py

```

### 2. Run the model with Rust

토큰 분석을 위한 Vocabulary, 패치 등은 자동으로 다운로드됩니다.

(인터넷에 연결되어있어야 함)

실제로 서비스할 때는, 프로그램 실행 전에 파일을 미리 준비해두는 것이 보안상 좋습니다.

```bash

# 1. 필수 요소 설치: rust (cargo)

# - 원하시는 방식으로 설치를 진행해주세요.

# 2. 테스트하기

cd rust  # rust 코드베이스가 있는 디렉토리로 이동

cargo run  # Rust 패키지 빌드 및 설치

```

## References

* https://huggingface.co/docs/transformers/serialization#selecting-features-for-different-model-topologies

* https://github.com/nbigaouette/onnxruntime-rs

## LICENSE

* Code that refers to a particular reference is governed by the license of that reference.

    - Please check: https://github.com/nbigaouette/onnxruntime-rs#license

* Other than that => Unlicensed. Feel free to use.