标签：尼玛 pen tag abc log request 打开 === lua
第一次搞爬虫，经验不足，爬出来的效果也不是很好，记录一下吧。
认识的哥们最近在爬今日头条的数据，不过他是做java的。之前也想用php做点爬数据的东西，于是直接也搞今日头条，万一有不明白的地方还能有个人商量。话不多说，上点干货。
关于爬虫，我之前的认知是，curl+正则，有点模糊，下面一步一步说吧
一、观察页面
今日头条的首页推送数据，是通过ajax获取的，打开页面调试我们可以看到下图
请求是每次滚动条滚动到底部触发的，然后我们右键新页面打开这个链接
不难发现这是个接口，返回json数据，在线格式化一下，结果如下
1 { 2 "has_more": true, 3 "message": "success", 4 "data": [{ 5 "chinese_tag": "财经", 6 "media_avatar_url": "//p1.pstatp.com/large/4d00054b126ceaf920", 7 "is_feed_ad": false, 8 "tag_url": "news_finance", 9 "title": "重要里程碑！中国政府采购服务器列入“中国芯”", 10 "single_mode": false, 11 "middle_mode": false, 12 "abstract": "尽管美国对中兴销售零部件和软件的禁令将被解除。近日有媒体注意到,在中央国家机关发布的新采购名单中,服务器产品的技术要求格外引人注目。", 13 "tag": "news_finance", 14 "label": ["网络安全", "龙芯", "CPU", "信息安全", "英特尔"], 15 "behot_time": 1527057631, 16 "source_url": "/group/6558562819279684109/", 17 "source": "环球网", 18 "more_mode": false, 19 "article_genre": "article", 20 "comments_count": 628, 21 "group_source": 2, 22 "item_id": "6558562819279684109", 23 "has_gallery": false, 24 "group_id": "6558562819279684109", 25 "media_url": "/c/user/5954781019/" 26 }, { 27 "single_mode": true, 28 "abstract": "一个动作，一句话语，一个眼神，这些看似微小的细节，有时都有着丰富的内涵，传递出意味深长的信号。中美华盛顿磋商过去已有几天，但美方最近释放的两个小细节，感觉拼出了一个更完整的中美谈判成果。", 29 "middle_mode": true, 30 "more_mode": true, 31 "tag": "news_world", 32 "label": ["中美关系", "中兴", "国际"], 33 "comments_count": 233, 34 "tag_url": "news_world", 35 "title": "这两个小细节，拼出一个更完整的中美谈判成果", 36 "chinese_tag": "国际", 37 "source": "牛弹琴", 38 "group_source": 2, 39 "has_gallery": false, 40 "media_url": "/c/user/3647305700/", 41 "media_avatar_url": "//p2.pstatp.com/large/1566/2791711243", 42 "image_list": [{ 43 "url": "//p3.pstatp.com/list/pgc-image/15269858649775498ea28fe" 44 }, { 45 "url": "//p3.pstatp.com/list/pgc-image/15269858650368af9b6b970" 46 }, { 47 "url": "//p3.pstatp.com/list/pgc-image/1526985864933a9921fd8d0" 48 }], 49 "source_url": "/group/6558354654705484295/", 50 "article_genre": "article", 51 "item_id": "6558354654705484295", 52 "is_feed_ad": false, 53 "behot_time": 1527057631, 54 "image_url": "//p3.pstatp.com/list/190x124/pgc-image/15269858649775498ea28fe", 55 "group_id": "6558354654705484295", 56 "middle_image": "http://p3.pstatp.com/list/pgc-image/15269858649775498ea28fe" 57 }, { 58 "single_mode": true, 59 "abstract": "这个小品还有一个插曲就是原定的女主本来是闫妮，但是在春晚前3天临时换成了金玉婷，登上春晚后，她还被称为是“春晚第一美女”。", 60 "middle_mode": true, 61 "more_mode": true, 62 "tag": "news_entertainment", 63 "label": ["春晚", "金玉婷", "抑郁症", "我是大侦探", "潘长江"], 64 "comments_count": 229, 65 "tag_url": "news_entertainment", 66 "title": "曾5次上春晚，患抑郁症淡出，如今做主播没人看，四处走穴很凄凉", 67 "chinese_tag": "娱乐", 68 "source": "猫眼娱乐", 69 "group_source": 2, 70 "has_gallery": false, 71 "media_url": "/c/user/64781639962/", 72 "media_avatar_url": "//p3.pstatp.com/large/2c6b001dd55cf954a3f6", 73 "image_list": [{ 74 "url": "//p3.pstatp.com/list/pgc-image/15270494556167c19bc847f" 75 }, { 76 "url": "//p3.pstatp.com/list/pgc-image/1527049455588fe78498ed1" 77 }, { 78 "url": "//p3.pstatp.com/list/pgc-image/152704945540787d17fdfb9" 79 }], 80 "source_url": "/group/6558629445270241805/", 81 "article_genre": "article", 82 "item_id": "6558629445270241805", 83 "is_feed_ad": false, 84 "behot_time": 1527057631, 85 "image_url": "//p3.pstatp.com/list/190x124/pgc-image/15270494556167c19bc847f", 86 "group_id": "6558629445270241805", 87 "middle_image": "http://p3.pstatp.com/list/pgc-image/15270494556167c19bc847f" 88 }], 89 "next": { 90 "max_behot_time": 1527057631 91 } 92 }
我们看这个json的结构，data里的就是我们想要的数据，好了我们只要仿造地址然后 curl模拟请求获取数据就得了。
二、爬虫研发
分析数据接口
地址：‘https://www.toutiao.com/api/pc/feed/?max_behot_time=1527057712&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=A1656B107572ABC&cp=5B05529AAB2CEE1&_signature=PNjkzBAeZ-Tys2Ie-4uYMTzY5N‘
对比之后发现，每次触发的ajax地址只有max_behot_time、as、cp、_signature这4个参数有变化。max_behot_time有点像时间戳，格式化一下，果然是。然后就是as、cp、_signature三个变参，百度了下是js对时间戳的加密出来的。
知乎上对as、cp有一些文章，_signature百度出来的结果很少。
再次打开页面调试
找到参数生成的js，格式化js代码找到如下代码
片段一：返回3个参数
{ key: "_setParams", value: function(t) { var e = (0, h. default)(), i = 0; this.url = this._url, "refresh" === t ? (i = this.list.length > 0 ? this.list[0].behot_time: 0, this.url += "min_behot_time=" + i) : (i = this.list.length > 0 ? this.list[this.list.length - 1].behot_time: 0, this.url += "max_behot_time=" + i); var n = (0, _.sign)(i + ""); (0, a.default)(this.params, { as: e.as, cp: e.cp, _signature: n }) } }
片段二：as、cp 时间戳加密逻辑，对照知乎上那片文章，这个可以用php的逻辑写，easy
1 function s() { 2 var t = Math.floor((new Date).getTime() / 1e3), 3 e = t.toString(16).toUpperCase(), 4 i = (0, o. 5 default)(t).toString().toUpperCase(); 6 if (8 != e.length) return { 7 as: "479BB4B7254C150", 8 cp: "7E0AC8874BB0985" 9 }; 10 for (var n = i.slice(0, 5), s = i.slice( - 5), a = "", r = 0; r < 5; r++) a += n[r] + e[r]; 11 for (var l = "", 12 u = 0; u < 5; u++) l += e[u + 3] + s[u]; 13 return { 14 as: "A1" + a + e.slice( - 3), 15 cp: e.slice(0, 3) + l + "E1" 16 } 17 }
还差一个参数_signature，这个参数有点难找，结合百度找到了js文件
相关代码片段：
1 function(t, e) { 2 Function(function(t) { 3 return ‘e(e,a,r){(b[e]||(b[e]=t("x,y","x "+e+" y")(r,a)}a(e,a,r){(k[r]||(k[r]=t("x,y","new x[y]("+Array(r+1).join(",x[y]")(1)+")")(e,a)}r(e,a,r){n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t)s[n="$"+t]=r[n];for(t=0,b=s=a;t<b;t)s[t]=a[t];c(e,0,s)}c(t,b,k){u(e){v[x]=e}f{g=,ting(bg)}l{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(h,y,d,g,v=[],x=0;;)switch(g=){case 1:u(!) 4:f 5:u((e){a=0,r=e;{c=a<r;c&&u(e[a]),c}}( 6:y=,u((y 8:if(g=,lg,g=,y===c)b+=g;else if(y!==l)y 9:c 10:u(s( 11:y=,u(+y) 12:for(y=f,d=[],g=0;g<y;g)d[g]=y.charCodeAt(g)^g+y;u(String.fromCharCode.apply(null,d 13:y=,h=delete [y] 14: 59:u((g=)?(y=x,v.slice(x-=g,y:[]) 61:u([]) 62:g=,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>0 65:h=,y=,[y]=h 66:u(e(t[b],, 67:y=,d=,u((g=).x===c?r(g.y,y,k):g.apply(d,y 68:u(e((g=t[b])<"<"?(b--,f):g+g,, 70:u(!1) 71:n 72:+f 73:u(parseInt(f,36 75:if(){b case 74:g=<<16>>16g 76:u(k[]) 77:y=,u([y]) 78:g=,u(a(v,x-=g+1,g 79:g=,u(k["$"+g]) 81:h=,[f]=h 82:u([f]) 83:h=,k[]=h 84:!0 85:void 0 86:u(v[x-1]) 88:h=,y=,h,y 89:u({e{r(e.y,arguments,k)}e.y=f,e.x=c,e}) 90:null 91:h 93:h= 0:;default:u((g<<16>>16)-16)}}n=this,t=n.Function,s=Object.keys||(e){a={},r=0;for(c in e)a[r]=c;a=r,a},b={},k={};r‘.replace(/[- ]/g, 4 function(e) { 5 return t[15 & e.charCodeAt(0)] 6 }) 7 } ("v[x++]=v[--x]t.charCodeAt(b++)-32function return ))++.substrvar .length(),b+=;break;case ;break}".split("")))()(‘gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jl s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jl s&l&z0l!$ +["cs\‘(0l#i\‘1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j! +& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\‘1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\‘g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\‘l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ‘, [Object.defineProperty(e, "__esModule", { 8 value: !0 9 })]) 10 }
我槽，第一眼看，这代码好尼玛长，php怎么搞啊！
然后有个想法，我直接用js跑出这个 参数来不就得了吗，easy
代码实现：（注意sign这个算法的编码，我被搞过） 从这个链接里去复制：https://bbs.125.la/thread-14108290-1-1.html
1 <!DOCTYPE html> 2 <html> 3 <head> 4 <title>check</title> 5 </head> 6 <body> 7 <script type="text/javascript" src="{{ URL::asset(‘/assets/js/md5.js‘) }}"></script> 8 <script type="text/javascript"> 9 function xx(t){ 10 var e = t.toString(16).toUpperCase(), 11 i = md5(t.toString()).toUpperCase(), 12 str = ‘‘; 13 if (8 != e.length){ 14 str = ‘http://www.toutiao.com/api/pc/feed/?max_behot_time=‘+t+‘&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=479BB4B7254C150&cp=7E0AC8874BB0985&_signature=‘+TAC.sign(t); 15 return str; 16 } 17 for (var n = i.slice(0, 5), s = i.slice( - 5), a = "", r = 0; r < 5; r++) { 18 a += n[r] + e[r]; 19 } 20 for (var l = "",u = 0; u < 5; u++) { 21 l += e[u + 3] + s[u]; 22 } 23 str = ‘http://www.toutiao.com/api/pc/feed/?max_behot_time=‘+t+‘&category=__all__&utm_source=toutiao&widen=1&tadrequire=true&as=‘+"A1" + a + e.slice( - 3)+‘&cp=‘+e.slice(0, 3) + l + "E1"+‘&_signature=‘+TAC.sign(t); 24 return str; 25 } 26 Function(function(t) {
return ‘e(e,a,r){(b[e]||(b[e]=t("x,y","x "+e+" y")(r,a)}a(e,a,r){(k[r]||(k[r]=t("x,y","new x[y]("+Array(r+1).join(",x[y]")(1)+")")(e,a)}r(e,a,r){n,t,s={},b=s.d=r?r.d+1:0;for(s["$"+b]=s,t=0;t<b;t)s[n="$"+t]=r[n];for(t=0,b=s=a;t<b;t)s[t]=a[t];c(e,0,s)}c(t,b,k){u(e){v[x]=e}f{g=,ting(bg)}l{try{y=c(t,b,k)}catch(e){h=e,y=l}}for(h,y,d,g,v=[],x=0;;)switch(g=){case 1:u(!) 4:f 5:u((e){a=0,r=e;{c=a<r;c&&u(e[a]),c}}( 6:y=,u((y 8:if(g=,lg,g=,y===c)b+=g;else if(y!==l)y 9:c 10:u(s( 11:y=,u(+y) 12:for(y=f,d=[],g=0;g<y;g)d[g]=y.charCodeAt(g)^g+y;u(String.fromCharCode.apply(null,d 13:y=,h=delete [y] 14: 59:u((g=)?(y=x,v.slice(x-=g,y:[]) 61:u([]) 62:g=,k[0]=65599*k[0]+k[1].charCodeAt(g)>>>0 65:h=,y=,[y]=h 66:u(e(t[b],, 67:y=,d=,u((g=).x===c?r(g.y,y,k):g.apply(d,y 68:u(e((g=t[b])<"<"?(b--,f):g+g,, 70:u(!1) 71:n 72:+f 73:u(parseInt(f,36 75:if(){b case 74:g=<<16>>16g 76:u(k[]) 77:y=,u([y]) 78:g=,u(a(v,x-=g+1,g 79:g=,u(k["$"+g]) 81:h=,[f]=h 82:u([f]) 83:h=,k[]=h 84:!0 85:void 0 86:u(v[x-1]) 88:h=,y=,h,y 89:u({e{r(e.y,arguments,k)}e.y=f,e.x=c,e}) 90:null 91:h 93:h= 0:;default:u((g<<16>>16)-16)}}n=this,t=n.Function,s=Object.keys||(e){a={},r=0;for(c in e)a[r]=c;a=r,a},b={},k={};r‘.replace(/[- ]/g, function(i) {
return t[15 & i.charCodeAt(0)]
})
}("v[x++]=v[--x]t.charCodeAt(b++)-32function return ))++.substrvar .length(),b+=;break;case ;break}".split("")))()(‘gr$Daten Иb/s!l y?y?g,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘???2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jl s#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jl s&l&z0l!$ +["cs\‘(0l#i\‘1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j! +& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\‘1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\‘g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\‘l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ‘, [TAC = {}]);32 var t = Math.floor((new Date).getTime() / 1e3); 33 var tmpstr = xx(t); 34 $(‘body‘).append(‘<p>‘+tmpstr+‘</p>‘); 35 </script> 36 </body> 37 </html>
效果参见：http://58.87.108.192/check (可加时间戳参数，例：http://58.87.108.192/check/1527057712)
然后是抓取数据的事了，php没办法抓取动态数据！
这块我当时很头疼，问了问同事才知道要用v8引擎的拓展去解析
然后装v8js，资料太少装不上，gg。想别的方法，百度了一下发现抓取动态数据的时候很多人用 phantomjs，无头浏览器，咦，我那哥们也是用的这个。
安装 phantomjs 博客网上很多，不赘述。放一个链接：https://blog.csdn.net/wanght89/article/details/78320375
js代码（获取之前页面生成的 url）
check.js
1 var page = require(‘webpage‘).create(), 2 system = require(‘system‘); 3 var url = ‘http://58.87.108.192/check‘; 4 if (system.args.length === 2){ 5 url += ‘/‘+system.args[1]; 6 } 7 page.open(url, function(status) { 8 if (status !== ‘success‘) { 9 console.log(‘Unable to access network‘); 10 } else { 11 var ua = page.evaluate(function() { 12 var res = []; 13 var domres = document.getElementsByTagName(‘p‘); 14 for(var i=0;i<domres.length;i++){ 15 res.push(domres[i].textContent); 16 } 17 return res; 18 }); 19 console.log(ua); 20 } 21 phantom.exit(); 22 unset(page); 23 });
php 代码（其实就是一个curl）
spider.php
1 <?php 2 3 /** 4 * 今日头条首页爬虫 5 */ 6 class Spider 7 { 8 private $searchTime = false; 9 private $stopTime = false; 10 11 public function __construct() 12 { 13 $this->stopTime = strtotime(date(‘Y-m-d‘)); 14 $this->useData(); 15 } 16 17 //curl 获取接口内容 18 public function curlRequest($url) 19 { 20 $ch = curl_init(); 21 curl_setopt($ch,CURLOPT_URL,$url); 22 curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); 23 curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0); 24 curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,0); 25 curl_setopt($ch,CURLOPT_HEADER,0); 26 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 27 return curl_exec($ch); 28 } 29 30 //phantomjs 抓取地址 31 public function getUrl() 32 { 33 $commendStr = "phantomjs ****/js/check.js";//地址不让看 34 if ($this->searchTime) { 35 $commendStr .= ‘ ‘.$this->searchTime; 36 } 37 return (exec($commendStr)); 38 } 39 40 //数据处理 41 public function useData() 42 { 43 $urlStr = $this->getUrl(); 44 $urlArr = explode(‘,‘, $urlStr); 45 $res = []; 46 foreach ($urlArr as $curlUrl) { 47 sleep(1); 48 $curlJsonStr = $this->curlRequest($curlUrl); 49 $curlRes = json_decode($curlJsonStr, true); 50 var_dump($curlRes);exit; 51 } 52 } 53 } 54 55 new Spider();
爬取出来的数据示例
关于cookie，这个数据接口没有cookie的校验，有的话，curl模拟下就行了
1 curl_setopt($ch,CURLOPT_COOKIE,$cookie_str);
数据重复问题，接口多次请求会给出很多重复数据，我的处理方法是给表里面加了个唯一索引，md5str 这个是文章标题md5出来的
总结一下：
这个爬虫不是很成功啊，我现在弄一堆url然后去跑，发现第二次数据就没法获取到了，这事让我很烦躁，没找到原因
整体的流程走了一边，数据能拿到但是效率很低。
感觉php不适合做爬虫，静态的数据一个curl就够了，动态数据就比较棘手，phantomjs 感觉比较笨重，而且好像已经不再支持更新
多说一句感觉写爬虫可以有很多种方法，比如我那哥们他就是模拟一步一步点击去做，我这个直接拼接口地址然后拿数据，有点不伦不类，初体验，多多包涵吧。
标签：尼玛 pen tag abc log request 打开 === lua
原文地址：https://www.cnblogs.com/jwcrxs/p/9078201.html
