https://github.com/twtrubiks/google_play_store_spider

抓取 google play store 資料 use Scrapy on python
https://github.com/twtrubiks/google_play_store_spider

database googleplay json python scrapy spider

Last synced: 11 months ago
JSON representation

抓取 google play store 資料 use Scrapy on python

• Host: GitHub
• URL: https://github.com/twtrubiks/google_play_store_spider
• Owner: twtrubiks
• Created: 2016-03-26T11:49:02.000Z (about 10 years ago)
• Default Branch: master
• Last Pushed: 2016-03-26T12:46:54.000Z (about 10 years ago)
• Last Synced: 2025-04-15T11:55:15.287Z (about 1 year ago)
• Topics: database, googleplay, json, python, scrapy, spider
• Language: Python
• Size: 194 KB
• Stars: 16
• Watchers: 2
• Forks: 10
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# google_play_store_spider

抓取 google play store 資料  use Scrapy on python

* [Demo Video](https://youtu.be/oOSefZYGvf8) - Linux 

## 特色

* 抓取 google play store 資料 (熱門排行榜 最新發佈) 前100筆資料

   

## 輸出格式  JSON  and DATABASE

```

    "table_title": 標題, 

	"title": APP名稱, 

	"title_URL": APP網址,

	"imgURL": APP圖片網址

    "description": APP描述, 

	"autor": 作者或團隊, 

	"autor_URL": 作者或團隊的網址, 

    "star_rates": 使用者評分(星星數),  

    "price": 免費或價錢, 

```     

     

## 使用方法

在路徑底下任何一個資料夾輸入

```

scrapy crawl playspider

```

## 執行過程

![alt tag](http://i.imgur.com/Akrj7IY.jpg)

![alt tag](http://i.imgur.com/YcoqVCs.jpg)

## 輸出畫面

路徑底下會多出兩個檔案  googleplay.json 、googleplay.db 


![alt tag](http://i.imgur.com/2wd59bB.jpg)

googleplay.json


![alt tag](http://i.imgur.com/vFTX3id.jpg)

googleplay.db


![alt tag](http://i.imgur.com/ggGTmJw.jpg)

可以輸入SQLITE指令，搜尋指定的項目

```

SELECT * FROM googleplay  WHERE table_title LIKE '遊戲類熱門付費下載'

```

![alt tag](http://i.imgur.com/EuTE3bC.jpg)

## 執行環境

* Ubuntu 12.04

* Python 2.7.3

* Scrapy 1.0.4

## License

MIT license