https://github.com/modern-agile-team/docker-for-crawler
파이썬과 jupyter notebook으로 크롤러를 개발하기 위한 기본 개발 환경 셋업
https://github.com/modern-agile-team/docker-for-crawler
anaconda beautifulsoup4 crwaler docker docker-compose jupyter-notebook python3 requests
Last synced: 2 months ago
JSON representation
파이썬과 jupyter notebook으로 크롤러를 개발하기 위한 기본 개발 환경 셋업
- Host: GitHub
- URL: https://github.com/modern-agile-team/docker-for-crawler
- Owner: modern-agile-team
- License: mit
- Created: 2022-03-31T13:22:14.000Z (about 4 years ago)
- Default Branch: master
- Last Pushed: 2022-05-11T10:45:06.000Z (about 4 years ago)
- Last Synced: 2025-06-04T09:59:29.661Z (about 1 year ago)
- Topics: anaconda, beautifulsoup4, crwaler, docker, docker-compose, jupyter-notebook, python3, requests
- Homepage:
- Size: 6.84 KB
- Stars: 2
- Watchers: 0
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# docker-for-crawler
파이썬과 jupyter notebook으로 크롤러를 개발하기 위한 기본 개발 환경 셋업
## Before
> 개발환경 세팅을 위한 사전 준비.
* [도커](https://docs.docker.com/get-docker/)와 [도커 컴포즈](https://docs.docker.com/compose/install/)를 설치합니다.
> **Mac**과 **Windows**는 **Docker Desktop**을 설치했다면 **Docker Compose**도 함께 설치되므로 별도 설치할 필요 없습니다.
1. 도커를 설치하려면 [여기](https://docs.docker.com/get-docker/)를 클릭해주세요.
2. 도커 컴포즈를 설치하려면 [여기](https://docs.docker.com/compose/install/)를 클릭해주세요.
## Run
1. 저장소를 복제합니다.
```bash
# 저장소 복제
$ git clone https://github.com/modern-agile-team/docker-for-crawler
# 저장소로 이동
$ cd docker-for-crawler
```
2. docker-compose를 이용하여 jupyter 서버를 오픈합니다.
```bash
$ docker-compose up
```
3. 오픈된 서버에 접속합니다.
> http://localhost:8888
4. jupyter 서버에서 발급해준 토큰을 입력하여 로그인합니다.
1. 토큰을 복사합니다.
> 토큰은 ```docker-compose up``` 명령을 수행한 터미널 제일 하단에 출력됩니다.
2. 복사한 토큰을 로그인 창에 붙여넣은 후 로그인합니다.
## Logined View
> 모든 작업 파일은 [work](https://github.com/modern-agile-team/docker-for-crawler/tree/master/work) 디렉터리에 영구적으로 저장됩니다.
## Exit or Termination
> jupyter notebook 종료하기
* 도커 컨테이너를 종료합니다.
* ```Ctrl + C```를 입력해도 동작중인 컨테이너가 종료됩니다. 다만, 종료된 상태로 메모리에 남게되므로 완전히 삭제시키고자 할 때는 아래 명령어를 사용합니다.
```bash
$ docker-compose down
```