https://github.com/donghquinn/daangn_scraping

당근마켓 인기 중고 매물 - 서울특별시 전체 매물 데이터 스크레이핑
https://github.com/donghquinn/daangn_scraping

api data-scrape nodejs

Last synced: 2 months ago
JSON representation

당근마켓 인기 중고 매물 - 서울특별시 전체 매물 데이터 스크레이핑

• Host: GitHub
• URL: https://github.com/donghquinn/daangn_scraping
• Owner: donghquinn
• License: isc
• Created: 2022-10-11T06:15:49.000Z (over 2 years ago)
• Default Branch: main
• Last Pushed: 2023-02-15T03:10:00.000Z (almost 2 years ago)
• Last Synced: 2023-03-27T16:33:59.168Z (almost 2 years ago)
• Topics: api, data-scrape, nodejs
• Language: TypeScript
• Homepage:
• Size: 78.9 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# 당근마켓 인기 물품 데이터 스크레이핑

## 사용 라이브러리

: cheerio, axios, winston, winston-rotate-daily-file, nodemon, ts-node,

## 스크레이핑 하는 데이터 종류

게시글 URL, 카테고리, 지역명

## 동작 구조

60분(한 시간)에 한 번씩 데이터를 가져와 파싱 후 DB에 저장.

- 당근마켓 서울 지역 인기 매물 페이지의 모든 목록의 카테고리와 url 링크를 스크레이핑 한다.

- url 링크를 이용해 해당 게시물 내부에서 지역 정보를 긁어온다.

- 이렇게 가져온 데이터를 데이터베이스에 인서트한다.

V1은 전체 데이터에 대한 API

V2는 각각 점수들에 대한 통계를 낸 API. 가장 많은 지역과 카테고리에 대해 각각의 API를 열어둔다.

- 카테고리: /v2/score/category

- 지역: /v2/score/region

## 환경변수 설명

- DB_HOST= DB 서버 주소

- DB_PORT= DB 서버 포트

- DB_NAME= 데이터베이스 이름

- DB_PASS= DB 유저 비밀번호

- DB_USER: DB 유저 이름

- TABLE: 스크레이핑 한 데이터 저장 테이블 이름

- NODE_ENV: 구동 환경 ( development | production)

- APP_PORT: 구동 포트

- TIME_SET: 데이터를 스크레이핑 할 주기 선택

## 빌드

yarn run build

## 구동 명령

yarn run start

## 도커를 이용한 구동

docker-compose up -d