https://github.com/0xff-dev/spider

爬虫
https://github.com/0xff-dev/spider

Last synced: 5 months ago
JSON representation

爬虫

• Host: GitHub
• URL: https://github.com/0xff-dev/spider
• Owner: 0xff-dev
• Created: 2018-03-24T09:46:44.000Z (almost 8 years ago)
• Default Branch: master
• Last Pushed: 2022-12-08T06:36:46.000Z (about 3 years ago)
• Last Synced: 2025-06-12T11:55:21.073Z (8 months ago)
• Language: Python
• Homepage:
• Size: 1.88 MB
• Stars: 11
• Watchers: 2
• Forks: 7
• Open Issues: 6
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# spiderBeautifulGirl

## Install BeautifulSoup

>如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装:

    $ apt-get install Python-bs4

>Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理安装,那么也可以通过 easy_install 或 pip 来安装.包的名字是 beautifulsoup4 ,这个包兼容Python2和Python3.

    $ easy_install beautifulsoup4

    $ pip install beautifulsoup4

>More information [BeautifulSoup](http://beautifulsoup.readthedocs.io/)

## IP

>[西刺代理](http://www.xicidaili.com/)

## Support for one page

>spider.py是针对真个网站进行分析，获取图片，但是你可能发现某一位很好看，增加对单个美女的图片获取。

分析单个美女的网页链接 'www.mmjpg.com/mm/\d+'。

    python3 onePage.py 'www.mmjpg.com/mm/页面数字'

>Update Something

# spider school

## Request

> 1. requests  

> 2. bs4

## Do

>1. 完成个人全部成绩的爬取  

>2. 增加个人信息

## 文件夹外面的代码

> __asynci-spider 需要3.5.3以上的版本, aiohttp的支持__

## 如果感觉可以学到思路，给个star吧!