https://github.com/ofelipelucca/librascontroller

Um software que reconhece gestos de libras e gestos customizados, e os transforma em um input de teclado ou mouse. (Python, TypeScript)
https://github.com/ofelipelucca/librascontroller

application desktop electron electron-react electron-react-typescript fullstack-development gesture-recognition hands javascript libras mediapipe opencv opencv-python python react software typescript

Last synced: about 1 month ago
JSON representation

Um software que reconhece gestos de libras e gestos customizados, e os transforma em um input de teclado ou mouse. (Python, TypeScript)

• Host: GitHub
• URL: https://github.com/ofelipelucca/librascontroller
• Owner: ofelipelucca
• License: mit
• Created: 2024-11-16T20:03:08.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2025-02-28T20:10:36.000Z (12 months ago)
• Last Synced: 2025-03-26T03:28:48.323Z (11 months ago)
• Topics: application, desktop, electron, electron-react, electron-react-typescript, fullstack-development, gesture-recognition, hands, javascript, libras, mediapipe, opencv, opencv-python, python, react, software, typescript
• Language: Python
• Homepage:
• Size: 576 KB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 1
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# **🤙 LIBRASCONTROLLER**

Um software que reconhece gestos de Libras e gestos customizados e os transforma em input de teclado ou mouse.

_🚧 PROJETO EM DESENVOLVIMENTO 🚧_

---

## **📖 SOBRE O PROJETO**

O **LibrasController** utiliza comunicação via WebSocket entre o backend (Python) e o frontend (JavaScript/TypeScript) para:

- Capturar frames da câmera selecionada pelo usuário usando **OpenCV**.

- Processar a posição da mão com **MediaPipe**.

- Reconhecer gestos por meio de um algoritmo próprio.

- Enviar comandos de teclado e mouse em nível baixo (low-level) usando **C**.

---

## **🛠️ COMO INSTALAR**

### 1️⃣ **Pré-requisitos**

Certifique-se de que você possui:

- Python (>=3.8)

- Node.js (>=16.0)

- Gerenciador de pacotes `pip` e `npm`.

### 2️⃣ **Instalação**

Clone o repositório (ou faça o download manualmente do repositório):

```bash

git clone https://github.com/ofelipelucca/librascontroller.git

cd librascontroller

```

Instale as dependências do backend (Python):

```bash

pip install -r requirements.txt

```

Instale as dependências do frontend (JavaScript/TypeScript):

```bash

npm install

```

### 3️⃣ **Build**

Para construir o projeto:

```bash

npm run build

```

### 4️⃣ **Execução**

Inicie o software:

```bash

npm run start

```

---

## **👨‍💻 TECNOLOGIAS UTILIZADAS**

- **Python**: Backend e reconhecimento de gestos.

- **TypeScript/JavaScript**: Frontend.

- **Node.js**: Comunicação e integração.

- **Electron**: Interface desktop.

- **React**: Construção da interface gráfica.

- **OpenCV**: Processamento de imagens.

- **MediaPipe**: Estimativa da posição da mão.

---

![GitHub Repo stars](https://img.shields.io/github/stars/ofelipelucca/librascontroller?style=social)

![GitHub forks](https://img.shields.io/github/forks/ofelipelucca/librascontroller?style=social)

![GitHub issues](https://img.shields.io/github/issues/ofelipelucca/librascontroller)

![GitHub last commit](https://img.shields.io/github/last-commit/ofelipelucca/librascontroller)

![Repo size](https://img.shields.io/github/repo-size/ofelipelucca/librascontroller)

![GitHub](https://img.shields.io/github/license/ofelipelucca/librascontroller)

___

**Envie um pull request :)**

[![](https://contrib.rocks/image?repo=ofelipelucca/librascontroller)](https://github.com/ofelipelucca/librascontroller/graphs/contributors)