SemrushBot 这个流氓蜘蛛真够贱的

2 主题	64 回帖	152 积分

注册会员

积分: 152

发消息

发表于 2019-11-23 08:05:01 | 显示全部楼层 |阅读模式

本帖最后由 ico 于 2019-11-28 21:03 编辑

Mozilla/5.0+(compatible;+SemrushBot/6~bl;++http://www.semrush.com/bot.html)
一个彻底的流氓蜘蛛，不遵守robots协议。用安全狗设置了禁止访问，依旧没完没了爬！
最后把这蜘蛛来访设定成301到他自己网站去，没几分钟就消失了。这蜘蛛真特么贱
https://pan.baidu.com/s/1_m1nW6C6vMKC4brGi98OvQ

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？立即注册

使用道具举报

返回列表发新帖

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-12-19 05:01 , Processed in 0.036090 second(s), 6 queries , Gzip On, Redis On.

		自动登录	找回密码
密码			立即注册