码迷,mamicode.com
首页 > 编程语言 > 详细

Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情

时间:2015-01-12 06:55:47      阅读:800      评论:0      收藏:0      [点我收藏+]

标签:scrapy

第一部分:任务描述

起始页面:http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2

这个页面列出了网店的所有宝贝,如图:

技术分享


点击进入宝贝详情页面,例如:http://detail.tmall.com/item.htm?spm=a1z10.3-b.w4011-3112923129.62.xGx75B&id=10910218037&rn=918f15e64b1131d19b6f0f9585ec0330&abbucket=1

目标数据:

1.商品名称(productName),

2.价格区间(priceRange)
3.月销量(monthSale)

4.累计评价(totalComment)

5.收藏人数(popularity)

6.成交记录(tradeRecord):买家(buyer),型号(type),数量(amount),价格(price),成交时间(tradeTime)


技术分享


技术分享


Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情

标签:scrapy

原文地址:http://dingbo.blog.51cto.com/8808323/1602223

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!