https://github.com/yviscool/my-crawler
https://github.com/yviscool/my-crawler
Last synced: over 1 year ago
JSON representation
- Host: GitHub
- URL: https://github.com/yviscool/my-crawler
- Owner: yviscool
- Created: 2017-09-14T14:08:26.000Z (almost 9 years ago)
- Default Branch: master
- Last Pushed: 2018-04-04T02:49:10.000Z (about 8 years ago)
- Last Synced: 2025-01-10T08:57:35.933Z (over 1 year ago)
- Language: JavaScript
- Size: 56.6 KB
- Stars: 0
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.MD
Awesome Lists containing this project
README
## 自娱自乐的一个小爬虫
主要是利用 `node` 自带的 `readline` 模块，完成一个交互式的命令行爬虫工具。
### 主要功能
* 搜索小说，爬取小说的最新章节，全部章节，保存为`md`格式的文件到(`win`下是桌面，`linux`下是用户目录下)。自动打开该文件。
* 搜索最新电影，获取电影相关信息和下载地址, 可拖动视频文件下载相关字幕。
* 获取今日番剧和搜索番剧，获得该番剧的云盘地址或则下载(功能不全)。
* 搜索音乐，下载音乐。爬取audiojungle网站,根据对应的音乐类别下载。(win下是桌面/music，`linux`下是用户目录/music)。
* 爬取`wallpavn`(图片网站)，下载随机图片到(win下是桌面/pic，`linux`下是用户目录/pic)。
* 若干残疾今日信息(停更)。。。。
### 项目启动
1. npm i
2. node run
### 注意
尽量不要下载全本小说，打开 mk 渲染太慢。以后考虑写成 txt, mk 两种或者直接转换成 pdf