老铁吗，蜘蛛把2t硬盘爬光了，怎么屏蔽

fengwuhen110

User-agent:Googlebot
Disallow:/

这个并不管用

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
        if (strpos($useragent, 'googlebot')){
                exit();
        }

也不管用
        if
        ($http_user_agent ~* "qihoobot|Googlebot|^$")
        {
                return 403;
        }
还是不管用

hxuf

上宝塔  用插件屏蔽

fengwuhen110

hxuf 发表于 2019-11-3 16:16

上宝塔  用插件屏蔽
问题是已经在运行的 ，换bt不现实啊

hxuf

fengwuhen110 发表于 2019-11-3 16:22

问题是已经在运行的 ，换bt不现实啊
啥网站啊 不能备份出来换服务器一天？

cquyf

下午蜘蛛来爬，结果蜘蛛还不爬，哈哈

fengwuhen110

cquyf 发表于 2019-11-3 16:47

下午蜘蛛来爬，结果蜘蛛还不爬，哈哈
把我硬盘爬没了。。

逗比泡泡糖

直接封IP段不就行了

lonefly

fengwuhen110 发表于 2019-11-3 16:58

把我硬盘爬没了。。
服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html

openshit

我到是希望蜘蛛爬我，可惜权重太低，根本没蜘蛛感兴趣

coxyblog

lonefly 发表于 2019-11-3 18:02

服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html
没有IP识别意义不大，UA可以伪造的