Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/ma6254/FictionDown
小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对
https://github.com/ma6254/FictionDown
biquge crawler fiction golang novels qidian spider
Last synced: about 1 month ago
JSON representation
小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对
- Host: GitHub
- URL: https://github.com/ma6254/FictionDown
- Owner: ma6254
- License: gpl-3.0
- Created: 2019-03-03T06:22:01.000Z (almost 6 years ago)
- Default Branch: master
- Last Pushed: 2024-03-06T11:49:37.000Z (10 months ago)
- Last Synced: 2024-06-18T20:17:55.357Z (6 months ago)
- Topics: biquge, crawler, fiction, golang, novels, qidian, spider
- Language: Go
- Homepage:
- Size: 459 KB
- Stars: 675
- Watchers: 12
- Forks: 135
- Open Issues: 4
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# FictionDown
FictionDown 是一个命令行界面的小说爬取工具
**用于批量下载盗版网络小说，该软件仅用于数据分析的样本采集，请勿用于其他用途**
**该软件所产生的文档请勿传播，请勿用于数据评估外的其他用途**
[](https://raw.githubusercontent.com/ma6254/FictionDown/master/LICENSE)
[](https://github.com/ma6254/FictionDown/releases)
[](https://github.com/ma6254/FictionDown/commits)
[](https://github.com/ma6254/FictionDown/releases)
[](https://goproxy.cn)
[](https://pkg.go.dev/github.com/ma6254/FictionDown/)
[](http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=DkzYlCZ9VSQEq6CqUtqGiqYBZh1V5CKK&authKey=btu30mBqaqx6GSVS3futp%2BhYitMfhtAltmp%2B84Kob9xS%2F6J5yQkd0dSeozzxbclT&noverify=0&group_code=495477288)
[](https://github.com/ma6254/FictionDown/actions/runs/39839114)
[](https://travis-ci.org/ma6254/FictionDown)
[](https://goreportcard.com/report/github.com/ma6254/FictionDown)
## 文档
文档目前「指南」部分已完成，你可以在[这里](https://ma6254.github.io/FictionDown/)查看。
## 特性
- 以起点为样本，多站点多线程爬取校对
- 支持导出 txt，以兼容大多数阅读器
- 支持导出 epub(还有些问题，某些阅读器无法打开)
- 支持导出 markdown，可以用 pandoc 转换成 epub，附带 epub 的`metadata`，保留书本信息、卷结构、作者信息
- 内置简单的广告过滤（现在还不完善）
- 用 Golang 编写，安装部署方便，可选的外部依赖：Chromedp
- 支持断点续爬，强制结束再爬会在上次结束的地方继续
## 站点支持
- 是否正版：✅ 为正版站点 ❌ 为盗版站点
- 是否分卷：✅ 章节分卷 ❌ 所有章节放在一个卷中不分卷
- 站内搜索：✅ 完全支持 ❌ 不支持 ❔ 站点支持但软件未适配 ⚠️ 站点支持，但不可用或维护中 ⛔ 站点支持搜索，但没有好的适配方案（比如用 Google 做站内搜索）
| 站点名称 | 网址 | 是否正版 | 是否分卷 | 支持站内搜索 | 代码文件 |
| ------------ | ----------------- | -------- | -------- | ------------ | ------------------------------ |
| 起点中文网 | www.qidian.com | ✅ | ✅ | ✅ | sites\com_qidian\main.go |
| 笔趣阁 | www.b520.cc | ❌ | ❌ | ✅ | sites\cc_b520\main.go |
| 顶点小说 | www.ddyueshu.com | ❌ | ❌ | ✅ | sites\com_ddyueshu\main.go |
| 全本小说网 | www.qb5.la | ❌ | ❌ | ✅ | sites\la_qb5\main.go |
| 新八一中文网 | www.81new.net | ❌ | ❌ | ✅ | sites\net_new81\main.go |
| 书迷楼 | www.shumil.co | ❌ | ❌ | ✅ | sites\co_shumil\main.go |
| 完本神站 | www.wanben.org | ❌ | ❌ | ✅ | site\org_wanben\main.go |
| 38 看书 | www.mijiashe.com | ❌ | ❌ | ⚠️ | sites\com_mijiashe\main.go |
## 使用注意
- 起点和盗版站的页面可能随时更改，可能会使抓取匹配失效，如果失效请提 issue
- 生成的 EPUB 文件可能过大，市面上大多数阅读器会异常卡顿或者直接崩溃
- 某些过于老的书或者作者频繁修改的书，盗版站都没有收录，也就无法爬取，如能找此书可用的盗版站请提 issue，并写出书名和正版站链接、盗版站链接
## 工作流程
1. 输入起点链接
2. 获取到书本信息，开始爬取每章内容，遇到 vip 章节放入`Example`中作为校对样本
3. 手动设置笔趣阁等盗版小说的对应链接，`tamp`字段
4. 再次启动，开始爬取，只爬取 VIP 部分，并跟`Example`进行校对
5. 手动编辑对应的缓存文件，手动删除广告和某些随机字符(有部分是关键字,可能会导致 pandoc 内存溢出或者样式错误)
6. `conv -f md`生成 markwown
7. 用 pandoc 转换成 epub，`pandoc -o xxxx.epub xxxx.md`
### Example
```bash
> ./FictionDown --url https://book.qidian.com/info/3249362 d # 获取正版信息
# 有时会发生`not match volumes`的错误，请启用Chromedp或者PhantomJS
# Use Chromedp
> ./FictionDown --url https://book.qidian.com/info/3249362 -d chromedp d
# Use PhantomJS
> ./FictionDown --url https://book.qidian.com/info/3249362 -d phantomjs d
> vim 一世之尊.FictionDown # 加入盗版小说链接
> ./FictionDown -i 一世之尊.FictionDown d # 获取盗版内容
# 爬取完毕就可以输出可阅读的文档了
> ./FictionDown -i 一世之尊.FictionDown conv -f txt
# 转换成epub有两种方式
# 1.输出markdown，再用pandoc转换成epub
> ./FictionDown -i 一世之尊.FictionDown conv -f md
> pandoc -o 一世之尊.epub 一世之尊.md
# 某些阅读器需要对章节进行定位,需要加上--epub-chapter-level=2
> pandoc -o 一世之尊.epub --epub-chapter-level=2 一世之尊.md
# 2.直接输出epub（调用Pandoc）
> ./FictionDown -i 一世之尊.FictionDown conv -f epub
```
#### 可直接根据搜索结果直接下载（当存在至少一个正版源时可用）
```bash
> ./FictionDown s -d -k "诡秘之主"
```
#### 站内搜索，然后填入
```bash
> ./FictionDown --url https://book.qidian.com/info/3249362 d # 获取正版信息
# 有时会发生`not match volumes`的错误，请启用Chromedp或者PhantomJS
# Use Chromedp
> ./FictionDown --url https://book.qidian.com/info/3249362 --driver chromedp d
# Use PhantomJS
> ./FictionDown --url https://book.qidian.com/info/3249362 --driver phantomjs d
> ./FictionDown -i 一世之尊.FictionDown s -k 一世之尊 -p # 搜索然后放入
> ./FictionDown -i 一世之尊.FictionDown d # 获取盗版内容
# 爬取完毕就可以输出可阅读的文档了
> ./FictionDown -i 一世之尊.FictionDown conv -f txt
# 转换成epub有两种方式
# 1.输出markdown，再用pandoc转换成epub
> ./FictionDown -i 一世之尊.FictionDown conv -f md
> pandoc -o 一世之尊.epub 一世之尊.md
# 2.直接输出epub（某些阅读器会报错）
> ./FictionDown -i 一世之尊.FictionDown conv -f epub
```
## 未实现
- 爬取正版的时候带上`Cookie`，用于爬取已购买章节
- 支持 晋江文学城
- 支持 纵横中文网
- 支持有毒小说网
- 支持刺猬猫（即“欢乐书客”）
- 整理 main 包中的面条逻辑
- 整理命令行参数风格
- 完善广告过滤
- 简化使用步骤
- 优化 log 输出
- 对于特殊章节，支持手动指定盗版链接或者跳过忽略
- 外部加载匹配规则，让用户可以自己添加正/盗版源
- 支持章节更新
- 章节匹配过程优化
## Usage
```bash
NAME:
FictionDown - https://github.com/ma6254/FictionDown
USAGE:
[global options] command [command options] [arguments...]
AUTHOR:
ma6254 <[email protected]>
COMMANDS:
download, d, down 下载缓存文件
check, c, chk 检查缓存文件
edit, e 对缓存文件进行手动修改
convert, conv 转换格式输出
pirate, p 检索盗版站点
search, s 检索盗版站点
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
-u value, --url value 图书链接
--tu value, --turl value 资源网站链接
-i value, --input value 输入缓存文件
--log value log file path
--driver value, -d value 请求方式,support: none,phantomjs,chromedp
--help, -h show help
--version, -v print the version
```
## 安装和编译
程序为单执行文件，命令行 CLI 界面
包管理为 gomod
```bash
go install github.com/ma6254/FictionDown@latest
```
交叉编译这几个平台的可执行文件：`linux/arm` `linux/amd64` `darwin/amd64` `windows/amd64`
```bash
make multiple_build
```