https://github.com/longxiaofei/spider-lianjia

链家二手房爬虫
https://github.com/longxiaofei/spider-lianjia

Last synced: 16 days ago
JSON representation

链家二手房爬虫

• Host: GitHub
• URL: https://github.com/longxiaofei/spider-lianjia
• Owner: longxiaofei
• Created: 2017-07-13T03:33:10.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2018-02-09T05:42:43.000Z (almost 7 years ago)
• Last Synced: 2024-08-01T18:39:20.289Z (3 months ago)
• Language: Python
• Homepage:
• Size: 129 KB
• Stars: 11
• Watchers: 1
• Forks: 3
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# 链家二手房爬虫

#### 2018年2月9日更新 (new_lianjia)

##### 使用scrapy，爬取全部地区的二手房和租房的数据。

##### 只写了逻辑部分

#### 功能：爬取指定城市的二手房信息

#### 用到的东西比较杂，主要是复习之前一个月爬虫的学习内容，没有开多进程，爬取一页信息后sleep3秒（其实1秒也可以），这样的速度不会被封IP。

#### 一个有10000套二手房的城市需要半个小时爬取完， 需要爬哪个城市的二手房可以在config文件设置。

#### 第一次用github，折腾了两个小时终于发上来了。。。。。。

### spider.py主程序

### request.py 包含requests请求函数和获取总页数的函数

### config.py 各种配置

### try.py 多余没用的文件

爬取信息：  

![image](https://github.com/longxiaofei/spider-lianjia/blob/master/lianjia_spiderV1.1/img1.jpg?raw=true)