05 爬取华为官网VMALL的手机评论

标签：列表   extern   字典   实现   步骤   分享   original   common   wan   

项目地址：copywang/spiders_collection

实现功能

1. 爬取手机界面的所有手机评论列表
2. 存储到MONGODB

步骤

1. 获取首页的手机列表，并获取各个手机标题和详情页的URL
2. 把第1步获取的详情页URL分别打开，并获取产品ID
3. 根据产品ID结合URL，组合出评论页的JSON请求并获取JSON数据
4. 首页的JSON数据中包含最大的评论页数
5. 使用最大评论页数作为循环，获取得到所有页的评论

遇到的问题

1. 返回的JSON数据包含一些乱七八糟的开头，不能使用json.loads()方法生成字典
2. 有时候请求评论页JSON会出现乱码
3. 暂时想不到多线程在哪里使用合适

改进

1. 使用json.loads()方法
2. 使用多线

爬取后的数据：

05 爬取华为官网VMALL的手机评论

标签：列表   extern   字典   实现   步骤   分享   original   common   wan   

原文地址：http://www.cnblogs.com/copywang/p/7894521.html