其实我自身的不是经常写正则,而且不规则的html去写正则本身就是件很麻烦的事情,如果页面有些微变动和更新就得再次去维护正则表达式,其实是非常蛋疼的
我第一感觉就是去找一下爬虫的库,但是发现现在php爬虫成熟的开源项目还挺多的
最开始我是准备使用phpquery,因为他实现了类似jQuery的功能,可以减少我花费的时间,但是毕竟是6年前的项目,原项目在http://code.google.com/p/phpquery/上,github虽然已经有人copy过去了,
年久失修,因为不是特别好使用,也别现在啥玩意都需要composer安装,没有提交到https://packagist.org,但是现在新项目好多都是基于php7的,有点过时了,
中了一会发现现在phpspider挺好用,注意不是php-spider,而且有中文文档,但是还没有特别完善,https://doc.phpspider.org/
https://github.com/owner888/phpspider
注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^
但是我需要在web下运行,test_requests.php 发现已经实现了css选择器作为替代手写正则表达式的方法,很好,强不强大等用户自己使用过后再自己评价
可以直接在web上运行
use phpspider\core\requests;
use phpspider\core\selector;
引入
$html = requests::get(‘http://www.ccmn.cn/‘); $data = selector::select($html, "#40288092327140f601327141c0560001", "css"); $data1 = selector::select($data, "tr", "css"); array_shift($data1); $array = array(); if (!empty($data1) && is_array($data1)) { foreach ($data1 as $k => &$v) { $data2 = selector::select($v, "td", "css"); foreach ($data2 as $kk => &$vv) { $vv = str_replace(‘ ‘, ‘‘, $vv); $vv = str_replace(array("\r\n", "\r", "\n"), "", $vv); $vv = trim($vv); } $data2[‘3‘] = selector::select($data2[‘3‘], "font", "css"); unset($data2[‘6‘]); $array[] = $data2; }
就完成了一个还算有一点点复杂的网页固定位置的抓取
很简单对吧
https://doc.phpspider.org/selector.html
官方支持更强大的css选择器,基本常用的足够了
和写jquery的感觉差不多
还有这个是cli运行,
注意不要删了
#/\* Do NOT delete this comment \*/#
#/\* 不要删除这段注释 \*/#
会报错,因为蛋疼去匹配了这些
if (!preg_match("#/\* Do NOT delete this comment \*/#", $content) || !preg_match("#/\* 不要删除这段注释 \*/#", $content)) { $msg = "Unknown error..."; log::error($msg); exit; }
有点强迫症的感觉
源码还没时间读,确实值得一读
目前其他功能测试过在写入博客