Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/liinnux/awesome-crawler-cn

互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，因新技术不断发展，新框架层出不穷，此文会不断更新...
https://github.com/liinnux/awesome-crawler-cn

List: awesome-crawler-cn

Last synced: 25 days ago
JSON representation

互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，因新技术不断发展，新框架层出不穷，此文会不断更新...

Host: GitHub
URL: https://github.com/liinnux/awesome-crawler-cn
Owner: liinnux
License: mit
Created: 2016-11-23T05:07:29.000Z (about 8 years ago)
Default Branch: master
Last Pushed: 2022-10-07T06:24:45.000Z (about 2 years ago)
Last Synced: 2024-05-21T12:28:30.878Z (7 months ago)
Homepage:
Size: 21.5 KB
Stars: 288
Watchers: 21
Forks: 74
Open Issues: 0
Metadata Files:
- Readme: README.md
- License: LICENSE

Awesome Lists containing this project

awesome-security-collection - **215**星
ultimate-awesome - awesome-crawler-cn - 互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，因新技术不断发展，新框架层出不穷，此文会不断更新. (Other Lists / PowerShell Lists)

README

        # Awesome-crawler-cn

互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，因新技术不断发展，新框架层出不穷，此文会不断更新...

## 交流讨论

1. 欢迎推荐你知道的开源网络爬虫，网页抽取框架.

2. 开源网络爬虫QQ交流群:322937592

3. email address: liinux at qq.com

## Python 

* [Scrapy](https://github.com/scrapy/scrapy) - 一种高效的屏幕,网页数据采集框架。

    * [django-dynamic-scraper](https://github.com/holgerd77/django-dynamic-scraper) - 基于Scrapy内核由django Web框架开发的爬虫。

    * [Scrapy-Redis](https://github.com/rolando/scrapy-redis) - 基于Scrapy内核采用Redis组件的爬虫。

    * [scrapy-cluster](https://github.com/istresearch/scrapy-cluster) - 基于Scrapy内核采用Redis 和 Kafka 开发的分布式爬虫框架。

    * [distribute_crawler](https://github.com/gnemoug/distribute_crawler) - 基于Scrapy内核采用redis, mongodb开发的分布式爬虫框架。

* [pyspider](https://github.com/binux/pyspider) - 一个强大纯python的数据采集系统.

* [cola](https://github.com/chineking/cola) - 一个分布式的爬虫框架.

* [Demiurge](https://github.com/matiasb/demiurge) - 基于PyQuery的微型爬虫框架.

* [Scrapely](https://github.com/scrapy/scrapely) - 一个纯python的HTML页面捕捉库.

* [feedparser](http://pythonhosted.org/feedparser/) - 一个通用的feed解析器.

* [you-get](https://github.com/soimort/you-get) -  静默网站爬去下载器.

* [Grab](http://grablib.org/) - 网站采集框架.

* [MechanicalSoup](https://github.com/hickford/MechanicalSoup) - 一个自动化的互动网站Python库.

* [portia](https://github.com/scrapinghub/portia) - 基于Scrapy的可视化数据采集框架.

* [crawley](https://github.com/jmg/crawley) - 基于非阻塞通信(NIO)的python爬虫框架.

* [RoboBrowser](https://github.com/jmcarp/robobrowser) - 一个简单的，不基于Web浏览器的基于Python的Web 浏览器.

* [MSpider](https://github.com/manning23/MSpider) - 一个基于gevent(协程网络库)的python爬虫. 

* [brownant](https://github.com/douban/brownant) - 一个轻量级的网络数据抽取框架.

* [extractnet](https://github.com/currentsapi/extractnet) - 基于机器学习进行网页内容提取的工具

## Java

* [Apache Nutch](http://nutch.apache.org/) - 用于生产环境的高度可扩展的高度可扩展的网络爬虫.

   * [anthelion](https://github.com/yahoo/anthelion) - 一个基于Apache Nutch抓取语义注释在HTML页面插件.

* [Crawler4j](https://github.com/yasserg/crawler4j) - 简单和轻量级的网络爬虫.

* [JSoup](http://jsoup.org/) - 采集，分析，处理和清洗HTML页面.

* [websphinx](http://www.cs.cmu.edu/~rcm/websphinx/) - HTML网站特定的处理、信息提取.

* [Open Search Server](http://www.opensearchserver.com/) - 全套搜索功能，建立你自己的索引策略。分析、提取全文数据，这个框架可以索引的一切.

* [Gecco](https://github.com/xtuhcy/gecco) - 一个易于使用的轻量级网络爬虫.

* [WebCollector](https://github.com/CrawlScript/WebCollector) -简单的抓取网页的界面，可以在不到5分钟内部署一个多线程的网络爬虫.

* [Webmagic](https://github.com/code4craft/webmagic) -一个可扩展的爬虫框架.

* [Spiderman](https://git.oschina.net/l-weiwei/spiderman) -一个可扩展的，多线程的网络爬虫.

    * [Spiderman2](http://git.oschina.net/l-weiwei/Spiderman2) - 分布式网络爬虫框架，支持javascript渲染.

* [Heritrix3](https://github.com/internetarchive/heritrix3) -  可扩展，大规模的网络爬虫项目.

* [SeimiCrawler](https://github.com/zhegexiaohuozi/SeimiCrawler) - 一个敏捷的分布式爬虫框架.

* [StormCrawler](http://github.com/DigitalPebble/storm-crawler/) - 基于开放源代码、构建低延迟的网络资源采集框架，基于Apache Storm.

* [Spark-Crawler](https://github.com/USCDataScience/sparkler) - 基于Apache Nutch 的网络爬虫，可以运行于Spark.

## C# 

* [ccrawler](http://www.findbestopensource.com/product/ccrawler) - 一个简单的Web内容分类方案，它可以根据其内容分开网页,基于C#3.5.

* [SimpleCrawler](https://github.com/lei-zhu/SimpleCrawler) - 简单的多线程网络爬虫，基于REG表达式.

* [DotnetSpider](https://github.com/zlzforever/DotnetSpider) - 基于C#开发的一个轻量级，交叉平台的网络爬虫.

* [Abot](https://github.com/sjdirect/abot) - 具有很好效率和可扩展性的C#网络爬虫.

* [Hawk](https://github.com/ferventdesert/Hawk) -  用 C#/WPF开发的网络爬虫，具有简单的ETL功能.

* [SkyScraper](https://github.com/JonCanning/SkyScraper) - 一个支持异步网络和有很好扩展性的网络爬虫.

## JavaScript

* [scraperjs](https://github.com/ruipgil/scraperjs) - 基于JS的一个功能齐全的网络爬虫.

* [scrape-it](https://github.com/IonicaBizau/scrape-it) - 基于Node.js的网络爬虫.

* [webster](https://github.com/zhuyingda/webster) - 基于Chromium无头模式和Node.js的分布式网络爬虫框架，可抓取ajax异步内容，可分布式横向纵向扩展.

* [simplecrawler](https://github.com/cgiffard/node-simplecrawler) - 基于事件驱动开发的网络爬虫.

* [node-crawler](https://github.com/bda-research/node-crawler) - 提供简单API，适于二次开发的网络爬虫.

* [js-crawler](https://github.com/antivanov/js-crawler) - 基于Node.JS,支持HTTP(S)的网络爬虫.

* [x-ray](https://github.com/lapwinglabs/x-ray) - 支持分页的网络爬虫.

* [node-osmosis](https://github.com/rchipka/node-osmosis) - 基于Node.js适于解析HTML结构的网络爬虫.

## PHP

* [Goutte](https://github.com/FriendsOfPHP/Goutte) - 基于PHP的网页截屏和爬取程序.

   * [laravel-goutte](https://github.com/dweidner/laravel-goutte) - 基于Laravel 5 的网络爬虫.

* [dom-crawler](https://github.com/symfony/dom-crawler) - 易于抽取DOM文件的网络爬虫.

* [pspider](https://github.com/hightman/pspider) - 基于PHP的并发网络爬虫.

* [php-spider](https://github.com/mvdbos/php-spider) - 一个基于PHP的高可扩展的网络爬虫.

## C++

* [open-source-search-engine](https://github.com/gigablast/open-source-search-engine) - 基于C/C++开发的网络爬虫和搜索引擎.

## C

* [httrack](https://github.com/xroche/httrack) - 全部网站整体复制工具。

## Ruby

* [upton](https://github.com/propublica/upton) - 一个易于上手的爬虫框架集合，支持CSS选择器.

* [wombat](https://github.com/felipecsl/wombat) - 基于Ruby天然的支持DSL的网络爬虫，易于提取网页正文数据.

* [RubyRetriever](https://github.com/joenorton/rubyretriever) - 基于Ruby的网站数据采集和全网数据收割机.

* [Spidr](https://github.com/postmodern/spidr) - 全站数据采集，支持无限的网站链接地址采集.

* [Cobweb](https://github.com/stewartmckee/cobweb) - 非常灵活，易于扩展的网络爬虫，可以单点部署使用.

* [mechanize](https://github.com/sparklemotion/mechanize) - 自动采集网站数据的框架.

## R

* [rvest](https://github.com/hadley/rvest) - 基于R开发的简单网络爬虫.

## Erlang 

* [ebot](https://github.com/matteoredaelli/ebot) - 一个分布式，高可扩展的网络爬虫.

## Perl

* [web-scraper](https://github.com/miyagawa/web-scraper) - 方便使用HTML、CSS、XPath选择器的网络爬虫。

## Go

* [pholcus](https://github.com/henrylee2cn/pholcus) -  一个分布式，支持高并发的网络爬虫.

* [gocrawl](https://github.com/PuerkitoBio/gocrawl) - 一个高并发的，轻量级，遵守道德的网络爬虫.

* [fetchbot](https://github.com/PuerkitoBio/fetchbot) -一个遵守robots.txt规则和延迟规则的轻量级网络爬虫.

* [go_spider](https://github.com/hu17889/go_spider) - 一个非常好的高并发网络爬虫. 

* [dht](https://github.com/shiyanhui/dht) -支持DHT协议的网络爬虫.

* [ants-go](https://github.com/wcong/ants-go) - 基于Golang的高并行网络爬虫.

* [scrape](https://github.com/yhat/scrape) - 一个简单的提供很好开发接口的网络爬虫.

## Scala

* [crawler](https://github.com/bplawler/crawler) - 基于Scala DSL的网络爬虫.

* [scrala](https://github.com/gaocegege/scrala) - 由Scala开发基于scrapy内核的网络爬虫.

* [ferrit](https://github.com/reggoodwin/ferrit) - 基于Scala开发使用了Akka, Spray，Cassandra的网络爬虫.