码迷,mamicode.com
首页 > 其他好文 > 详细

八爪鱼采集教程——京东商品评论采集

时间:2017-09-11 18:08:12      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:八爪鱼采集器   大数据   数据采集   京东商品采集   


京东商品评论信息采集

 

介绍采集使用八爪鱼7.0采集京东商品评论数据的方法

更多相关教程可以到八爪鱼教程中心查看:

http://www.bazhuayu.com/tutorials?version=v7.0

八爪鱼下载:

http://www.bazhuayu.com/download

 

采集网站:

http://item.jd.com/11221162.html#comment



使用功能点:

Ajax翻页

分页内容提取

 

步骤1:创建采集任务

进入主界面选择,选择自定义模式

技术分享 

 

上面网址的网址复制粘贴到网站输入框中,点击保存网址

技术分享

保存网址后,页面将在八爪鱼采集器中打开,红色方框中的评价信息是这次演示要采集的内容

技术分享 

 

步骤2:创建翻页循环

找到商品评论列表

找到翻页按钮,设置翻页循环

设置ajax翻页时间

在商品,找到“商品评论”,鼠标点击,在右侧操作提示框中,

选择点击该链接

技术分享 

将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,

选择循环点击下一页

技术分享 

由于页面使用了ajax加载技术,需要对点击元素翻页步骤设置ajax延时加载

ajax判断方法:打开流程图,找到翻页循环框,手动执行翻页,看网站有没有进行加载)在右侧的高级选项框中,勾选Ajax加载数据,选择合适的超时时间,一般设置2秒;最后点击确定

技术分享 

注意:点击右上角的流程按钮即可展现出可视化流程图。

 

步骤3:评论信息采集

选中需要采集的字段信息,创建采集列表

编辑采集字段名称

移动鼠标选中评论框右键点击,如图所示,评论框中数据会被全部选中,变成红色,点击右侧提示中“选中子元素”

技术分享

评论页中适配的内容会变成绿色,在右侧操作提示框中,查看提取的字段,可以将不需要的字段删除点击右侧“选中全部”

技术分享 

注意: 鼠标放在提示框中的字段上会出现一个删除标识,点击即可删除该字段。

 

点击“采集以下数据”

技术分享 

修改采集字段名,并点击下方提示中的保存并开始采集

技术分享 

根据采集的情况选择合适的采集方式,这里选择启动本地采集

技术分享 

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

 

步骤4:数据采集及导出

采集完成后,会跳出提示,选择导出数据

技术分享 

 

选择合适的导出方式,将采集好的数据导出

技术分享 

 

 


本文出自 “八爪鱼大数据” 博客,请务必保留此出处http://bazhuayudata.blog.51cto.com/13213727/1964332

八爪鱼采集教程——京东商品评论采集

标签:八爪鱼采集器   大数据   数据采集   京东商品采集   

原文地址:http://bazhuayudata.blog.51cto.com/13213727/1964332

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!