protected function isPhone(){ $agent = strtolower($_SERVER['HTTP_USER_AGENT']); //pc请求头信息数组 $pc_arr=array('windows nt','macintosh','ipad','baiduspider ...
分类：
Web程序 时间：
2017-09-04 10:57:53
阅读次数：
281
我们站长查看网站访问数据，分析IP来源是我们站长的日常工作，对一些异常的IP段，我们首先要区分是否是搜索引擎蜘蛛的IP段，以免误伤，下面我们就以2段IP为例，一个是百度蜘蛛的220.181.108.140，另外一个是非百度蜘蛛的180.91.55.21。看看应该如何区分百度搜索引擎蜘蛛的IP段。 一 ...
分类：
其他好文 时间：
2016-12-09 15:55:02
阅读次数：
223
if($http_user_agent~*"qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo!Slurp|Yahoo!SlurpChina|YoudaoBot|Sosospider|Sogouspider|Sogouwebspider|MSNBot|ia_archiver|TomatoBot”){ return..
分类：
Web程序 时间：
2016-09-26 21:55:56
阅读次数：
208
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。 220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。 220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。 121.14.89.*这个ip段作为度过新站考 ...
分类：
其他好文 时间：
2016-08-19 18:54:10
阅读次数：
118
如何更好的让搜索引擎收录网站中的内容，想要被良好的收录，可以尝试一下几点： 一、机器可读 百度通过一个叫做Baiduspider的程序抓取互联网上的网页， 经过处理后建入索引中，目前只支持读文本，flash、图片等非文本内容暂时不能处理， 放置在flash、 图片中的文字， 百度无法识别。 ...
分类：
其他好文 时间：
2015-12-29 22:50:34
阅读次数：
247
摘要：快照不被百度缓存： meta name = Baiduspider content = noarchive所有搜索引擎，抓取这个页面、爬行链接、禁止快照： meta name = robots content = index,follow,noarchive -----------------...
分类：
Web程序 时间：
2015-07-26 20:29:59
阅读次数：
141
#!/bin/bashread-p"whichsitedoyouwanttoAnalysis,xxx|xxx:"siteread-p"whichsitedoyouwanttoAnalysis,xxx.access.log.x:"logread-p"whichsitedoyouwanttoAnalysis,YisouSpider|Sogouwebspider|Baiduspider:"spiderread-p"whichcodewouldyouwanttoAnalysis,499|500|502|200|301..
分类：
其他好文 时间：
2015-06-24 16:41:58
阅读次数：
96
来自http://news.paidai.com/12967
作者：芜湖SEO舒扬
1.现状和思考
现在，如果在百度里搜索淘宝网，您所看到的结果应该是这样的，“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”这种情况只在使用百度搜索时出现，因为淘宝只针对百度Baiduspider屏蔽，简单点说，除了淘宝网首页，理论上无法在百度中搜索到其他...
分类：
其他好文 时间：
2015-06-12 17:25:03
阅读次数：
136
最新最准确各大搜索引擎蜘蛛名称2014-4-15 10:02:521、百度蜘蛛：Baiduspider网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等，都洗洗睡吧，那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度...
分类：
其他好文 时间：
2015-05-31 00:03:42
阅读次数：
207
百度站长平台发布公告宣布新版Baiduspider移动ua上线，同时公布了PC版Baiduspider ua，那么该如何正确识别移动ua呢？我们百度站长平台技术专家孙权老师给出了答案： 新版移动ua: Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) Ap...
分类：
移动开发 时间：
2015-05-22 11:20:43
阅读次数：
184
