标签：
双十二就要到了，浏览京东商城也浏览的比较多，突然想到写一个爬虫来爬取一些“京东家电”的数据，可能会对双十二的活动有点预见性，也挺好玩的。
1、选定爬取的模块 京东商城--京东家电--家用电器--大家电
2、爬取“平板电视”这一模块的数据
我用的是火狐浏览器的HttpFox插件来查看网页的加载信息。当进入“平板电视”这一模块的时候，网页的加载信息是这样的：
打开第一个“GET”进来的网页信息，然后查看该加载的网页的“Header”信息，发现该网页是重新加载的，从“Referer”可看出该网页的新的链接：
3、打开"Referer"的链接信息，验证一下：
4、打开几个商品的链接，发现网页的URL有一定的规律，像是这样的网址：
地址中只是数字发生着变化，所以这一定有猫腻，所以进一步去观察HttpFox的信息。
下面是加载“平板电视”电视的时候，HttpFox生成的信息，找到第一条的json信息，发现了需要得到的数字：
5、将网页往下拉，可以看到分页，这就自己观察URL就可以了，简单的规律，每页的URL改变的只是页码的数字。
6、所以爬虫的大体思路就出来了：
（1）获取json数值
（2）组合生成xpath
（3）匹配信息
（4）去重、规整等处理数据
（5）数据导到本地
7、这样我们就可以爬取23页的数据了，而且其他的京东网页做小的修改就可以了。下面该上代码了：不知道今晚能不能写出来~
标签：
原文地址：http://www.cnblogs.com/xbkp/p/5036617.html
