https://github.com/ai-forever/easy_sign
Easy_sign is an open source russian sign language recognition project that uses small CPU model for predictions and is designed for easy deployment via Streamlit.
https://github.com/ai-forever/easy_sign
ai4good computer-vision deep-learning gesture-recognition open-source russian-language sign-language-recognition sign-language-recognition-system
Last synced: about 2 months ago
JSON representation
Easy_sign is an open source russian sign language recognition project that uses small CPU model for predictions and is designed for easy deployment via Streamlit.
- Host: GitHub
- URL: https://github.com/ai-forever/easy_sign
- Owner: ai-forever
- License: cc-by-sa-4.0
- Created: 2023-11-21T18:33:20.000Z (over 1 year ago)
- Default Branch: main
- Last Pushed: 2023-12-28T15:06:37.000Z (over 1 year ago)
- Last Synced: 2024-09-05T16:43:40.136Z (9 months ago)
- Topics: ai4good, computer-vision, deep-learning, gesture-recognition, open-source, russian-language, sign-language-recognition, sign-language-recognition-system
- Language: Python
- Homepage: https://habr.com/ru/companies/sberbank/articles/775688/
- Size: 33.1 MB
- Stars: 25
- Watchers: 7
- Forks: 5
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
[English version](README_en.md)
# Easy_sign
Easy_sign - опенсорс проект по распознаванию Русского жестового языка, спроектированный для развёртывания через [Streamlit](https://streamlit.io/). В проекте используется "лёгкая" ML-модель, способная работать на CPU.
## О проекте
Easy_sign использует ML-модель для распознавания отдельных жестов Русского жестового языка.
Модель была обучена на ~180 000 примеров жестов. Приблизительно 20 000 из которых были взяты из датасета [Slovo](https://github.com/hukenovs/slovo).
Модель распознаёт 1598 жестов Русского жестового языка и может обеспечить распознавание 3-3.5 жестов в секунду на процессоре Intel(R) Core(TM) i5-6600 CPU @3.30GHz. Список распознаваемых жестов содержится в файле [RSL_class_list.txt](RSL_class_list.txt).
Больше информации о проекте - в статье на [habr](https://habr.com/ru/companies/sberbank/articles/775688/).
## Порядок установки
```
conda create --name fleury-env python=3.10
conda activate fleury-env
pip install -r requirements.txt
```
## Использование
```
streamlit run app.py
```
## Ссылки
Команда ПИН-КОД выпустила на базе easy_sign тренажёр для изучения РЖЯ. [Статья на хабр](https://habr.com/ru/articles/777700/), [репозиторий](https://github.com/PINCODE-project/RSL-Recognition-API-exe)
S3D модели, обученные на датасете [Slovo](https://github.com/hukenovs/slovo) для различного количества кадров, подаваемых на вход.
| Кол-во кадров | Ссылка | Mean accuracy, % |
|:---------------:|:--------:|:----------------:|
| 32 | https://sc.link/l8VTi | 44.22 |
| 48 | https://sc.link/GSojW | 52.28 |
| 64 | https://sc.link/fhLfd | 55.86 |
## Лицензия
This work is licensed under the Creative Commons Attribution-ShareAlike 4.0 International License.