https://github.com/maengsanha/bigdata

KMU CS Hot Topics in Big Data
https://github.com/maengsanha/bigdata

cloud9 dataproc docker documentdb machine-learning mapreduce mongodb nlp spark

Last synced: 27 days ago
JSON representation

KMU CS Hot Topics in Big Data

• Host: GitHub
• URL: https://github.com/maengsanha/bigdata
• Owner: maengsanha
• License: apache-2.0
• Created: 2020-03-19T08:17:01.000Z (almost 6 years ago)
• Default Branch: master
• Last Pushed: 2025-06-17T09:43:08.000Z (8 months ago)
• Last Synced: 2026-01-14T22:24:14.084Z (28 days ago)
• Topics: cloud9, dataproc, docker, documentdb, machine-learning, mapreduce, mongodb, nlp, spark
• Language: Go
• Homepage:
• Size: 54.5 MB
• Stars: 2
• Watchers: 0
• Forks: 0
• Open Issues: 1
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# HOT TOPICS IN BIG DATA

### Hot Topics in Big Data assignments and more




### Part 1: NLP

- [x] 실습 과제 1: 어절빈도 조사

  



  

- [x] 과제 1: 한글 문장의 유사도 계산 (1)

  



  

- [x] 과제 2: 한글 문장의 유사도 계산 (2)

  



  

- [x] 과제 3: 대규모 말뭉치(KCC 원시말뭉치)에서 가장 유사한 문장 상위 n개 추출

  



  

- [x] 과제 4: 문장 유사도 계산을 워드 임베딩 기법 등 다양한 방법으로 구현



### Part 2:Distributed Computing

- [x] 실습 1: Word Count example on MapReduce

  



- [x] 실습2: Triangle Listing example on MapReduce

  



- [x] Final Project: Graph Mining on MapReduce and Spark

  - [x] Task 1: 그래프의 중복 edge 및 self-loop 제거 (Hadoop MapReduce)

  - [x] Task 2: 각 노드 u의 degree d(u) 구하기 (Hadoop MapReduce)

  - [x] Task 3: 각 노드 u마다 u를 포함하는 삼각형의 갯수 t(u) 구하기 (Spark)

  - [x] Task 4: 각 노드 u마다 군집계수 cc(u) 구하기 (Spark)



### Part 3: Container

- [x] Final Project: AWS Cloud9 환경에서 Docker를 이용한 Amazon Document DB 활용

  - [x] Task1: AWS DocumentDB를 이용한 MongoDB 환경 구축

  - [x] Task2: AWS Cloud9 환경에서 Docker를 활용하여 Task1에서 만든 DocumentDB에 접속

  - [x] Task3: MongoDB 실습 환경 시나리오 생성

  - [x] Task4: Docker를 활용한 MongoDB 사용과 DocumentDB를 활용한 실습 각각의 장단점 서술

  - [x] Task5: DocumentDB 클러스터 삭제

  - [x] Task6: 클라우드 서비스 크레딧 차감량 계산