Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/andeya/pholcus_lib
仅供学习的Pholcus爬虫规则库
https://github.com/andeya/pholcus_lib
Last synced: 10 days ago
JSON representation
仅供学习的Pholcus爬虫规则库
- Host: GitHub
- URL: https://github.com/andeya/pholcus_lib
- Owner: andeya
- Created: 2015-08-12T12:36:15.000Z (about 9 years ago)
- Default Branch: master
- Last Pushed: 2019-09-08T02:22:31.000Z (about 5 years ago)
- Last Synced: 2024-08-11T20:08:59.544Z (3 months ago)
- Language: Go
- Homepage:
- Size: 225 KB
- Stars: 45
- Watchers: 3
- Forks: 36
- Open Issues: 4
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
- favorite-link - 公共维护的 Pholcus 爬虫规则库。
README
# pholcus_lib
[Pholcus](https://github.com/henrylee2cn/pholcus) 用户公共维护的spider爬虫规则库。
## 维护规范
- 欢迎每位用户都来分享自己的爬虫规则
- 每个规则放在单一个独的子目录
- 新增规则最好提供README.md
- 新增规则时,须在根目录 `pholcus_lib.go` 文件的import组中添加类似`_ "github.com/henrylee2cn/pholcus_lib/jingdong"`的包引用声明
- 新增规则时,须在根目录README.md(本文档)的 `爬虫规则列表` 中按子目录名`a-z`的顺序插入一条相应的规则记录
- 维护旧规则时,应在规则文件或相应README.md中增加修改说明:如修改原因、修改时间、签名、联系方式等
- 凡爬虫规则的贡献者均可在其源码文件或相应README.md中留下在的签名、联系方式## 爬虫规则列表
|子目录|规则描述|
|---|---|
|alibaba|阿里巴巴产品搜索|
|area_codes|国家统计局区划代码|
|avatar|我要个性网-头像昵称搜索下载|
|baidunews|百度RSS新闻|
|baidusearch|百度搜索|
|car_home|汽车之家|
|chinanews|中国新闻网-滚动新闻|
|filetest|文件下载测试|
|ganji_gongsi|经典示例-赶集网企业名录|
|googlesearch|谷歌搜索|
|hollandandbarrett|Hollandand&Barrett商品数据|
|IJGUC|IJGUC期刊|
|jdsearch|京东搜索|
|jingdong|京东搜索(修复版)|
|jiban|羁绊动漫|
|kaola|考拉海淘|
|lewa|乐蛙登录测试|
|miyabaobei|蜜芽宝贝|
|people|人民网新闻抓取|
|shunfenghaitao|顺丰海淘|
|taobao|淘宝数据|
|taobaosearch|淘宝天猫搜索|
|wangyi|网易新闻|
|weibo_fans|微博粉丝列表|
|wukongwenda|悟空问答|
|zolpc|中关村笔记本|
|zolphone|中关村手机|
|zolslab|中关村平板|
|zhihu_bianji|知乎编辑推荐|
|zhihu_daily|知乎每日推荐|