https://github.com/1juyoung/facemeet

📽 표정 인식과 감정 분석을 통해 회의 참가자의 감정을 시각화하는 화상 회의 서비스
https://github.com/1juyoung/facemeet

deepface emotion nodejs python react socket-io webrtc-video

Last synced: 4 months ago
JSON representation

📽 표정 인식과 감정 분석을 통해 회의 참가자의 감정을 시각화하는 화상 회의 서비스

• Host: GitHub
• URL: https://github.com/1juyoung/facemeet
• Owner: 1juyoung
• Created: 2025-06-17T07:19:31.000Z (4 months ago)
• Default Branch: main
• Last Pushed: 2025-06-17T08:09:57.000Z (4 months ago)
• Last Synced: 2025-06-17T09:21:07.319Z (4 months ago)
• Topics: deepface, emotion, nodejs, python, react, socket-io, webrtc-video
• Language: JavaScript
• Homepage:
• Size: 3.69 MB
• Stars: 0
• Watchers: 0
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# FaceMeet - 표정 분석 기반 화상 회의 웹 서비스

📅 **발표 시점**: 2024년 11월 (졸업 작품)  

🧠 **주요 기술**: WebRTC, Socket.io, React, Express, MongoDB DeepFace, OpenCV

---

## 🧩 프로젝트 개요

> 코로나19 이후 온라인 활동의 증가와 함께, 사용자 간 감정 이해를 돕기 위한 화상 회의 서비스의 필요성이 커졌습니다.  

> **FaceMeet**는 표정 인식 및 감정 분석을 기반으로 사용자 간 감정 흐름을 시각화하여, 보다 원활한 소통을 지원하는 **감정 기반 화상 회의 서비스**입니다.

### 🎯 주요 목표

- 표정 분석 기술을 활용하여 회의 참여자의 감정 점수를 시각화

- 호스트/클라이언트 간 소통을 위한 화상회의 + 감정 공유 기능 구현

- 비언어적 의사소통이 필요한 외국인/특수 상황에서의 커뮤니케이션 개선

---

## 🛠️ 프로젝트 폴더 구조

```

backend/

│

├── app.js                  # 백엔드 진입점

├── facemeet/               # 프론트엔드 코드 (React)

├── model/                  # 표정 분석 파이썬 기반 모델 (Flask + DeepFace)

├── modules/                # 백엔드 모듈 (미들웨어, 로직 등)

├── mongoose/               # MongoDB 모델 정의

└── ...

```

📌 **구조 설명**

- **facemeet/**: 프론트엔드 React 프로젝트 디렉터리입니다.

- **model/**: DeepFace 기반 감정 분석 Python 서버 코드 (Flask + OpenCV)

- **나머지 디렉토리**: Node.js 기반 백엔드 API 및 서버 구성

---

## 💡 주요 기능 및 시스템 아키텍처

### 📷 표정 분석

- **OpenCV Haarcascade**로 얼굴 영역 추출

- **DeepFace + CNN(VGG-Face)**를 통해 감정 인식

- 감정값에 가중치를 두어 최종 점수 산출

```

Emotion Score =

(Happiness × 100) + (Neutral × 50) + (Sadness × 30) +

(Fear × 20) + (Disgust × 10) + (Anger × 10) + (Surprise × 50)

```

- 점수 범위에 따라 감정 상태 분류:

  - 0~30: 부정적 감정

  - 30~70: 중립 감정

  - 70~100: 긍정적 감정

### 🧱 시스템 구성

| 화면 구성        | 설명                                          |

| ---------------- | --------------------------------------------- |

| 로그인, 회원가입 | 기본 인증 기능                                |

| 메인화면         | 회의 생성/참여                                |

| 회의기록         | 감정 점수 기반 회의 리스트                    |

| 회의 화면        | WebRTC 기반 실시간 화상회의 및 감정 점수 표시 |

---

## ⚙️ 사용 기술 스택

### 프론트엔드 (React - `/facemeet`)

- React 18, MUI, React Router, Axios

- WebRTC

- JWT 기반 인증

- 실시간 통신: Socket.io

### 백엔드 (Node.js - root 디렉터리)

- Express, Mongoose, Multer (파일 업로드)

- GridFS (프로필 이미지 저장)

- PM2 (서버 운영), Morgan, JWT 인증

### 표정 분석 모델 (`/model`)

- Python + Flask

- DeepFace, OpenCV

- CORS 설정을 통한 백엔드 연동

---

## ✅ 프로젝트 결과 및 기대 효과

- 웹페이지 내 회의 생성, 참가, 기록 및 감정 점수 시각화 기능 구현

- 감정 점수를 기반으로 회의 분위기 판단 가능

- 외국인, 장애인 등 **비언어적 의사소통**이 중요한 상황에서 활용 가능

---

## 🙋 팀 정보

- 총 4인 구성 (프론트엔드 2, 백엔드 1, AI 모델 1)

---