https://github.com/kimgooq/MoCap-Rigging

motion capture data (MediaPipe) rigging with threejs
https://github.com/kimgooq/MoCap-Rigging

mediapipe mocap rigging threejs

Last synced: 4 months ago
JSON representation

motion capture data (MediaPipe) rigging with threejs

• Host: GitHub
• URL: https://github.com/kimgooq/MoCap-Rigging
• Owner: kimgooq
• Created: 2022-07-02T10:04:18.000Z (over 2 years ago)
• Default Branch: main
• Last Pushed: 2022-07-06T05:34:03.000Z (over 2 years ago)
• Last Synced: 2023-03-04T05:03:12.919Z (almost 2 years ago)
• Topics: mediapipe, mocap, rigging, threejs
• Language: JavaScript
• Homepage:
• Size: 30.4 MB
• Stars: 7
• Watchers: 2
• Forks: 1
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# MoCap-Rigging

> skeleton position 정보와 MediaPipe Landmarks 정보를 활용하여 Rigging

### 개발 스택

- [three.js](https://threejs.org/)

- [MediaPipe](https://google.github.io/mediapipe/)

### 구현 내용

- 3D Scene 내 T-pose 상태인 아바타 bone들의 position과 MediaPipe Landmarks의 vector간 rotation matrix를 계산하여, 아바타 joint의 rotation 값을 조정

- 손목 rotation의 경우 손바닥을 기준으로 엄지, 중지 방향에 따라 local axis를 갖는 rotation matrix를 정해주고, 아바타 손목 rotation matrix가 MediaPipe 손목의 rotation matrix가 되도록 계산

- Three.js 에서 제공하는 mmd(miku-miku dance model)관련 함수들을 통해 physics를 활성화하고 inverse kinematics를 설정

### 예시 이미지

- Webcam - Rigging (gltf)



- Video - Rigging (MMD)