https://github.com/tim9liu9/python_spider_jobs

python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。
https://github.com/tim9liu9/python_spider_jobs

Last synced: 8 months ago
JSON representation

python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。

• Host: GitHub
• URL: https://github.com/tim9liu9/python_spider_jobs
• Owner: Tim9Liu9
• License: apache-2.0
• Created: 2017-05-05T19:40:03.000Z (about 9 years ago)
• Default Branch: master
• Last Pushed: 2018-10-28T10:15:38.000Z (over 7 years ago)
• Last Synced: 2025-04-02T06:51:14.677Z (about 1 year ago)
• Language: Python
• Homepage:
• Size: 514 KB
• Stars: 100
• Watchers: 12
• Forks: 36
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# python_spider_jobs

已经在python3.4、python3.5、python3.6测试通过 ， 技术栈：urllib+BeautifulSoup4+SQLite，用到的py库：beautifulsoup4、configparser，以后增加图表显示的功能   

python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程语言职位的总条数。  

目前的岗位有：人工智能, 大数据, java, 前端, Android, iOS, python, php, go语言、node.js、区块链、c++、c#、产品经理。  

爬取后分别保存到sqlite数据库与txt文本文件中。sqlite数据库一天只保存一次。但jobs.txt一天可以写入多次爬取的记录。