https://github.com/clxxxy/handsong
Piano virtual com MediaPipe e OpenCV para projeto final da cadeira de IA aplicada à Música
https://github.com/clxxxy/handsong
computer-vision mediapipe music opencv python
Last synced: 4 months ago
JSON representation
Piano virtual com MediaPipe e OpenCV para projeto final da cadeira de IA aplicada à Música
- Host: GitHub
- URL: https://github.com/clxxxy/handsong
- Owner: clxxxy
- License: mit
- Created: 2025-04-11T15:04:56.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2025-08-07T00:53:23.000Z (11 months ago)
- Last Synced: 2025-08-07T01:14:06.486Z (11 months ago)
- Topics: computer-vision, mediapipe, music, opencv, python
- Language: Python
- Homepage:
- Size: 96.4 MB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# handsong: gesture-powered music
Este projeto permite que você toque piano virtual usando os dedos detectados pela webcam, com reconhecimento em tempo real através das bibliotecas [MediaPipe](https://github.com/google/mediapipe) e [OpenCV](https://opencv.org). O sistema interage com o site [Online Pianist](https://www.onlinepianist.com/virtual-piano) de forma automatizada, simulando pressionamentos de tecla com [PyAutoGUI](https://pyautogui.readthedocs.io/) conforme o movimento dos dedos.
## Como Funciona
- O sistema identifica mãos e dedos em tempo real usando MediaPipe.
- Os dedos levantados são mapeados para notas do piano virtual.
- A tela é dividida em duas regiões (superior e inferior) para simular oitavas diferentes.
- Um polegar direito alterna para notas sustenidas (C#, D#, etc).
- Cada dedo é mapeado para uma tecla do teclado que corresponde a uma nota no piano virtual.
- A tecla correspondente é "pressionada" automaticamente quando um dedo é detectado como abaixado.
## Tecnologias Utilizadas
- Python
- OpenCV
- MediaPipe
- PyAutoGUI
- CustomTkinter
## Pré-requisitos
Instale as dependências necessárias:
```bash
pip install opencv-python mediapipe pyautogui customtkinter
```
## Resultados
A aplicação consegue entregar o feedback sonoro e visual de forma rápida e simples, sem a necessidade de hardware externo, alto poder computacional e webcams de altas resoluções.
Em nossos testes, ambientes com o mínimo de luminosidade conseguem entregar o feedback sonoro e visual, porém, com alguns pequenos bugs nos gestos e, portanto, recomenda-se um ambiente com as mãos bem iluminadas para uma melhor experiência.
## Possíveis melhorias
- Integração com software de produção musical (DAW).
- Exploração de aplicações em realidade aumentada.
- Adição de novos instrumentos e gestos.
## Trabalhos futuros
- Usar a base do app e seus conceitos para outras áreas, como acessibilidade e produtividade.
- Fine-tuning de modelos de detecção de gestos para melhor precisão.
- - -
> handsong v1.0 | desenvolvido por Cleydson Junior e Ismael Alves. Este projeto é livre para uso educacional e experimental.