https://github.com/jwnie/proxyservice

抓取网上公开代理，维护可供爬虫使用的IP池，区分墙内墙外、http/https/socks代理。
https://github.com/jwnie/proxyservice

java proxy proxy-manager proxypool proxyspider spider

Last synced: 2 months ago
JSON representation

抓取网上公开代理，维护可供爬虫使用的IP池，区分墙内墙外、http/https/socks代理。

• Host: GitHub
• URL: https://github.com/jwnie/proxyservice
• Owner: Jwnie
• Created: 2017-12-08T10:03:33.000Z (about 7 years ago)
• Default Branch: master
• Last Pushed: 2018-01-02T04:33:09.000Z (about 7 years ago)
• Last Synced: 2024-08-03T17:12:06.092Z (6 months ago)
• Topics: java, proxy, proxy-manager, proxypool, proxyspider, spider
• Language: Java
• Homepage:
• Size: 139 KB
• Stars: 65
• Watchers: 4
• Forks: 32
• Open Issues: 2
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• awesome-network-stuff - **40**星

README

        
# 爬取网上公开代理

## 已支持爬取的代理网站

* 西刺: http://www.xicidaili.com/

* 全网代理: http://www.goubanjia.com/

* 云代理: http://www.ip3366.net/

* Free Proxy List: https://www.us-proxy.org/

* 无忧代理: http://www.data5u.com/

* 讯代理: http://www.xdaili.cn/freeproxy

* 年少HTTP PROXY： http://www.nianshao.me/

* proxydb: http://proxydb.net/

* 开心代理: http://www.kxdaili.com/dailiip.html

* coderbusy: https://proxy.coderbusy.com/

## 代理查询接口

* http://localhost:8888/proxy/getProxy?isDemostic=true&anonymousType=elite&protocolType=https


    默认返回前一百条可用代理;


  参数说明：  


  (1) isDemostic: 可选参数，是否为国内代理，值为true和false；


  (2) anonymousType: 可选参数，代理的匿名类型，分为四种：transparent(透明)、anonymous(匿名)、distorting(混淆)、elite(高匿)；


  (3) protocolType: 可选参数，代理的协议类型，分为http、https、socks4、socks5和socks(未做socks4和socks5的细分，统称为socks)


  

  示例数据:

  ![返回数据](/img/getProxy.png)

  

 * http://localhost:8888/proxy/proxyStatistic


 查询代理数量，按代理站点统计


    示例数据:

    ![返回数据](/img/proxyStatistic.png)