标签：爬虫 客户 nginx china yahoo span nbsp 根据 uda
我们可以根据客户端的 user-agents 首部字段来阻止指定的爬虫爬取我们的网站
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot") { return 403; }
标签：爬虫 客户 nginx china yahoo span nbsp 根据 uda
原文地址：http://www.cnblogs.com/pzk7788/p/6925282.html
