https://github.com/kangvcar/awsomespider

Python爬虫小项目汇总（招聘信息/电影信息/股票信息/天气信息/贴吧信息/图片信息/视频信息..）
https://github.com/kangvcar/awsomespider

beautifulsoup lxml pymysql pyspider python scrapy selenium spider urllib2

Last synced: 3 months ago
JSON representation

Python爬虫小项目汇总（招聘信息/电影信息/股票信息/天气信息/贴吧信息/图片信息/视频信息..）

• Host: GitHub
• URL: https://github.com/kangvcar/awsomespider
• Owner: kangvcar
• Created: 2017-09-11T13:17:01.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2023-02-15T21:35:09.000Z (almost 2 years ago)
• Last Synced: 2023-03-04T22:37:20.570Z (almost 2 years ago)
• Topics: beautifulsoup, lxml, pymysql, pyspider, python, scrapy, selenium, spider, urllib2
• Language: Python
• Homepage:
• Size: 16.6 MB
• Stars: 63
• Watchers: 2
• Forks: 26
• Open Issues: 7
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# pyproject

> 2017 python爬虫学习

## Usage_pdb.txt

Pdb: The Python Debugger 

Python调试器 使用方法快速入门

## NumGame Folders

### -NumGame1.py

简单的猜数字的大小

### -NumGame2.py

多玩家猜数字游戏

### -NumGame5.py

游戏规则如下：


主持人确定猜数字的范围和pk次数


每位参赛者按顺序输入自己的名字


主持人确定每次可以猜的次数（默认4次）


开始比赛-每位参赛者按顺序猜一次，如果猜对加一分


如果在规定次数大家都没有猜出来，打印出答案


比赛结束后打印排行榜


### -object.py

面向对象编程练习

### -Youdao-reptile.py

使用 urllib2 爬取有道翻译的源代码并写入Youdao.txt文件

## project Folders

> Scrapy 爬虫框架目录结构

```

project/

    scrapy.cfg 			#项目的配置文件

    project/ 			#该项目的python模块,之后您将在此加入代码

        __init__.py 	

        items.py 		#项目中的item文件

        pipelines.py 	#项目中的pipelines文件

        settings.py 	#项目的设置文件

        spiders/ 		#放置spider代码的目录

            __init__.py

            ...

```

### -project/spiders/suzhouSpider.py

爬取www.suzhou.tianqi.com 页面的六天天气,并写入result.txt文件

## Spiders Folders

> python 爬虫项目

### - Spiders/Spider_jisilu.py

使用 selenium 爬取www.jisilu.com 页面的部分数据并写入文件

### - Spiders/Spider_jisilu_2.py

基于Spiders/Spider_jisilu.py, 把各部分改成def函数

### - Spiders/Spider_jisilu_3.py

基于Spiders/Spider_jisilu.py, 增加了标题的输出

### - Spiders/Spider_jisilu_4.py

基于Spiders/Spider_jisilu.py, 使用面向对象的方法重构代码

### - Spiders/Spider_qiushibaike.py

爬取 www.qiushibaike.com 页面的段子，并实现回车查看段子，按Q退出

### - Spiders/Spider_SZtianqi.py

使用 BeautifulSoup 爬取 www.suzhou.tianqi.com 页面的数据，并用BeautifulSoup过滤

### - Spiders/Spider_tieba.py

爬取 tieba.baidu.com 页面的帖子并写入文件，使用面向对象编程

## training Folders

> 各爬虫工具模块的快速入门学习, 实例验证

### - training/Usage_BeautifulSoup.py

BeautifulSoup 快速入门，实例学习

### - training/Usage_BeautifulSoup_CSS_Select.py

CSS_Select => CSS选择器 快速入门，实例学习

### - training/Usage_BeautifulSoup_find_.py

BeautifulSoup 的 find_all 等函数 快速入门，实例学习

### - training/Usage_PyQuery.py

PyQuery 快速入门，实例学习

### - training/Usage_Requests.py

Requests 快速入门，实例学习

### - training/Usage_Selenium.py

Selenium 快速入门，实例学习

### - training/Usage_Urllib2.py

Urllib2 快速入门，实例学习

### - training/Usage_XPath.py

XPath 快速入门，实例学习