https://github.com/kimgooq/MoCap-Rigging
motion capture data (MediaPipe) rigging with threejs
https://github.com/kimgooq/MoCap-Rigging
mediapipe mocap rigging threejs
Last synced: over 1 year ago
JSON representation
motion capture data (MediaPipe) rigging with threejs
- Host: GitHub
- URL: https://github.com/kimgooq/MoCap-Rigging
- Owner: kimgooq
- Created: 2022-07-02T10:04:18.000Z (almost 4 years ago)
- Default Branch: main
- Last Pushed: 2022-07-06T05:34:03.000Z (almost 4 years ago)
- Last Synced: 2024-10-23T18:13:41.821Z (over 1 year ago)
- Topics: mediapipe, mocap, rigging, threejs
- Language: JavaScript
- Homepage:
- Size: 30.4 MB
- Stars: 15
- Watchers: 3
- Forks: 3
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# MoCap-Rigging
> skeleton position 정보와 MediaPipe Landmarks 정보를 활용하여 Rigging
### 개발 스택
- [three.js](https://threejs.org/)
- [MediaPipe](https://google.github.io/mediapipe/)
### 구현 내용
- 3D Scene 내 T-pose 상태인 아바타 bone들의 position과 MediaPipe Landmarks의 vector간 rotation matrix를 계산하여, 아바타 joint의 rotation 값을 조정
- 손목 rotation의 경우 손바닥을 기준으로 엄지, 중지 방향에 따라 local axis를 갖는 rotation matrix를 정해주고, 아바타 손목 rotation matrix가 MediaPipe 손목의 rotation matrix가 되도록 계산
- Three.js 에서 제공하는 mmd(miku-miku dance model)관련 함수들을 통해 physics를 활성화하고 inverse kinematics를 설정
### 예시 이미지
- Webcam - Rigging (gltf)
- Video - Rigging (MMD)
