最近公司网站被竞争对手用爬虫频繁访问,所以我们这边要禁止这些爬虫访问,我们通过nginx 指令就可以实现了


方法一:直接在LB机器上封IP

1.在 blocksip.conf 文件中加入要屏蔽的ip或者ip端

$ sudo vim /etc/nginx/blocksip.conf

deny 180.168.74.26;
deny 91.212.45.0/24;


2. 在nginx.conf中包含这个文件

$ sudo vim /etc/nginx/nginx.conf
http {
.......
.......
include /etc/nginx/blocksip.conf;
}

3.重启服务

$ sudo /etc/init.d/nginx reload


方法二:直接在APP业务机器上操作(有时候LB并不能直接操作)

这个时候我们不能通过$remote_addr获取ip,因为经过LB过来,需要同$http_x_forwarded_for获取,使用nginx map指令

1.通过map指令设置 变量

$ sudo vim /etc/nginx/nginx.conf
http{
.......
.......
    map $http_x_forwarded_for $ip_allowed {
        default allow;
        ~\s*192.168.22.*$ deny;
        ~\s*192.168.21.11$ deny;
    }
}


2.在vhost 的server 配置中 通过$ip_allowed变量判断

server{
........
........
    if ( $ip_allowed = "deny" ) {
        return 403;
    }
}

3.重启服务

sudo /etc/init.d/nginx reload



至于使用何种方法,大家根据情况自己定夺了。