Apache/Nginx通过UserAgent屏蔽蜘蛛和采集

进入到Nginx配置目录下(默认为/etc/nginx/conf.d目录)，将如下代码保存为agent_deny.conf

$ cd /etc/nginx/conf.d$ vi agent_deny.conf#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {     return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~* "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) {     return 403;             }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {    return 403;}

然后，在网站相关配置中的server段插入如下代码

include agent_deny.conf;

保存后，执行如下命令，平滑重启nginx即可

/etc/init.d/nginx reload

注：这里介绍的是通过判断UserAgent的方法进行限制，Nginx还可以通过ngx_http_limit_conn_module和ngx_http_limit_req_module模块来进行访问限制，在以后的文档中会进行这种方法的介绍。

将如下方法放到贴到网站入口文件index.php中的第一个<?php之后即可

//获取UA信息$ua = $_SERVER['HTTP_USER_AGENT'];//将恶意USER_AGENT存入数组$now_ua = array('FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');//禁止空USER_AGENT，dedecms等主流采集程序都是空USER_AGENT，部分sql注入工具也是空USER_AGENTif(!$ua) {header("Content-type: text/html; charset=utf-8");wp_die('请勿采集本站，因为采集的站长木有小JJ！');}else{    foreach($now_ua as $value )//判断是否是数组中存在的UA    if(eregi($value,$ua)) {    header("Content-type: text/html; charset=utf-8");    wp_die('请勿采集本站，因为采集的站长木有小JJ！');    }}

百度爬虫

• Baiduspider+(+http://www.baidu.com/search/spider.htm”)

Google爬虫

• Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

• Googlebot/2.1 (+http://www.googlebot.com/bot.html)

• Googlebot/2.1 (+http://www.google.com/bot.html)

雅虎爬虫(分别是雅虎中国和美国总部的爬虫)

• Mozilla/5.0 (compatible; Yahoo! Slurp China;http://misc.yahoo.com.cn/help.html”)

• Mozilla/5.0 (compatible; Yahoo! Slurp;http://help.yahoo.com/help/us/ysearch/slurp”)

新浪爱问爬虫

• iaskspider/2.0(+http://iask.com/help/help_index.html”)

• Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫

• Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

• Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易爬虫

• Mozilla/5.0 (compatible; YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider/”; )

MSN爬虫

• msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

内容采集

• FeedDemon

• Java                  内容采集

• Jullo                 内容采集

• Feedly                内容采集

• UniversalFeedParser   内容采集

SQL注入

• BOT/0.1 (BOT for JCE)

• CrawlDaddy

无用爬虫

• EasouSpider

• Swiftbot

• YandexBot

• AhrefsBot

• jikeSpider

• MJ12bot

• YYSpider

• oBot

CC***器

• ApacheBench

• WinHttp

TCP***

• HttpClient

扫描

• Microsoft URL Control

• ZmEu phpmyadmin

• jaunty