码迷,mamicode.com
首页 > 其他好文 > 详细

用kettle做爬虫(一)get请求爬取日期

时间:2020-03-01 10:42:28      阅读:212      评论:0      收藏:0      [点我收藏+]

标签:而且   不用   现在   来历   产生   语法   网址   无法   字段   

背景

接到一个任务,是爬取广东省采购网2019年全年的采购公告、合同信息、结果公告等信息。通过python代码的编写已经完成了这个任务。但由于采购网的服务器不是太稳定等因素,因此,相当一部分的数据行没有爬取到“公布日期”。

幸好,我的数据行里面已经存有每个数据的网址来历,只要直接get,就能获取该网页了。而我想起kettle里面也可以做简易的爬虫,因此,我利用kettle做了一个爬虫,将数据库内,公布日期为“0000-00-00”的错误数据,重新爬取入库。

附:广东省采购网网址:http://www.gdgpo.gov.cn/queryMoreInfoList.do

 

制作kettle转换

技术图片

 

 

 

流程分别是:

1、读取url。

从库中读取结果公告表中PublishDate=‘0000-00-00‘的主键ID、url。

2、获取网页信息。

利用get请求获取页面信息。由于对方服务器不稳定,所以等待的时间要设置的比较长,而且给它设置了错误定义,将获取不到页面的url和id,暂且存到一个txt内,不影响整个流程跑。

3、文本处理和入库。

获取页面信息后(xml信息),本来我是打算用get data from xml来读取的,结果发现它的很多节点写的不规范,例如<link>少了</link>,<br>少了</br>,很多都没有结束符号。结果kettle就报错,我估计之前我用python爬,应该是这个语法的问题导致,我的beautifulsoup读不出来。无奈之下,我选择直接利用文本截取,更快更简洁。根据关键字“发布日期”去拆分文本。然后删掉拆分后产生的没用的字段。再利用剪切将日期的10位字符串剪出来。同理,删除新产生的不需要的字段。然后将更新记录写入数据库,和一个txt中作为记录。

 

处理结果

 

技术图片

 

 

2800多条记录,跑了半个小时左右。对方的服务器确实比较慢。而且这种操作挺占内存的,每个页面的源代码都挺多,3000页左右就比较大了。

 

技术图片

 

 里面有17条记录是无法获取的url,可以人工去检查是什么问题。

 

 

 

 

关于xpath语言

还是想写一点记录一下。举个例子:

技术图片

 

 

 红色框这些是节点,绿色框的是属性(class="zw_c_c_title")。在填写kettle里面的循环路径时,只要填写节点就ok了。譬如我要读取这个绿色框的文本。循环路径就写:html/body/div/div/div,然后在字段路径里面,就根据你想获取的信息,在循环路径的哪一节去写,现在是在末端获取,所以字段路径就一点“.”,表示当前。而现在要获取的是属性,所以不用写一点了,就写@class就可以了。如果是要获取上一级,就是../@class。如此类推。

 

用kettle做爬虫(一)get请求爬取日期

标签:而且   不用   现在   来历   产生   语法   网址   无法   字段   

原文地址:https://www.cnblogs.com/10sxluo/p/12388322.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!