https://github.com/taizilongxu/scrapyforjingdong

京东商品爬虫
https://github.com/taizilongxu/scrapyforjingdong

Last synced: about 2 months ago
JSON representation

京东商品爬虫

• Host: GitHub
• URL: https://github.com/taizilongxu/scrapyforjingdong
• Owner: taizilongxu
• Created: 2014-12-11T13:42:14.000Z (about 10 years ago)
• Default Branch: master
• Last Pushed: 2014-12-12T12:55:44.000Z (about 10 years ago)
• Last Synced: 2023-08-19T00:43:19.310Z (over 1 year ago)
• Language: Python
• Size: 195 KB
• Stars: 6
• Watchers: 2
• Forks: 5
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        

    scrapy crawl test -s JOBDIR=data -o items.csv

运行爬虫,输出文件items.csv,可以返回上次中断继续运行.

    watch -n 1 -d 'wc -l items.csv;du -h items.csv'

可以观察文件变化

结果:

```csv

comment,category,price,product_id,title

9,首页>生鲜>熟食腊味>面食,¥59.00,1174694681.html?sid=2040f2381b2d810c386154968e0, 思念放心油条 早餐点心 油炸速冻食品 油条30根装 450g*3袋 -

40,首页>生鲜>熟食腊味>面食,¥59.00,1036452047.html?sid=2040f2381b2d810c386154968e0, 1212热卖思念食品思念无馅儿香糯小圆子元宵速冻汤圆300gX5 -

2,首页>生鲜>熟食腊味>面食,¥112.00,1214414212.html?sid=2040f2381b2d810c386154968e0, 【顺丰优选】泰国正大CP 虾肉馄饨50粒 600g -

4,首页>生鲜>熟食腊味>面食,¥49.00,1298501279.html?sid=2040f2381b2d810c386154968e0, 思念手抓饼 台湾手抓饼面饼 面食 早餐家庭装原味四连包20片装450g*4袋 速冻食品 -

935,首页>家装建材>电工电料>电料配件,¥8.90,1227720642.html?sid=2040f2381b2d810c386154968e0, 天正电气 透明防溅盒开关插座罩 86型面板墙壁大防水插座开关盒 -

455,首页>家装建材>电工电料>电料配件,¥26.00,1025329015.html?sid=2040f2381b2d810c386154968e0, 欧美数码分段控制器 大灯数码分段开关 分段器分控器 灯具配件 二路三段 -

408,首页>家具>书房家具>电脑桌,¥1389.00,1273900938.html?sid=2040f2381b2d810c386154968e0, 加能量 简约烤漆电脑桌 转角台式书桌办公台 创意彩色书柜桌组合 原版纯白色抽屉 1.2米右边柜 -

18,首页>家装建材>电工电料>接线板/排插,¥198.00,1053162011.html?sid=2040f2381b2d810c386154968e0, ROSS罗尔思多用插座S32C-UW20C桌面双面插线板智控开关/防雷/USB数码2米 -

1805,首页>家装建材>电工电料>配电箱/断路器,¥18.80,1073886579.html?sid=2040f2381b2d810c386154968e0, 西门子断路器 绿色系列 标准型 1P 家用真空断路器 单模位空气开关 小型单进单出空开 1P 20A -

9,首页>家装建材>电工电料>配电箱/断路器,¥546.00,1341419854.html?sid=2040f2381b2d810c386154968e0, 【好评返现】送京豆 鸿雁弱电箱家用套装光纤多媒体布线信息箱G后进线款 -

134,首页>家装建材>电工电料>配电箱/断路器,¥199.00,1214172504.html?sid=2040f2381b2d810c386154968e0, 施耐德(Schneider) 断路器 Easy9空气开关空开 2P63A总开关带漏电保护 -

15,首页>家装建材>电工电料>配电箱/断路器,¥986.00,1091054064.html?sid=2040f2381b2d810c386154968e0, 弱电箱第一品牌！好评度98%！光大通信路由器模块+无线墙壁AP套装/弱电布线箱/家用 -

589,首页>家具>书房家具>书桌,¥120.00,1099451.html?sid=2040f2381b2d810c386154968e0, 雅美乐 大学生宿舍桌 上下铺床上书桌寝室电脑书桌 浅胡桃色 YZ156  -

621,首页>玩具乐器>模型玩具>仿真模型,¥45.00,1114324.html?sid=2040f2381b2d810c386154968e0, 碟中碟 软弹仿真枪 玩具枪红外线亲子对战男孩儿童玩具豪华套装JS102 -

897,首页>家具>书房家具>电脑桌,¥298.00,1172716811.html?sid=2040f2381b2d810c386154968e0, 亿家达桌子电脑桌 台式书桌办公桌 写字台 B款带书架枫木 120*60cm -

```