semrush的蜘蛛不遵守规则咋办呢？

G奶 · 发表于 2020-8-10 15:29:50

在robots。txt里面写了不允许他爬，还在爬，都要把网站爬挂了。。。。。
怎么才能挡住他呢？？

iks · 发表于 2020-8-10 15:53:07

封 UA 也可以

ip4 · 发表于 2020-8-10 15:32:05

还有些蜘蛛封ip都不行。。

loukky · 发表于 2020-8-10 15:33:05

你的站是有多少内容........能给你爬挂

deepflow · 发表于 2020-8-10 15:46:14

IP拉黑

Ticifer · 发表于 2020-8-10 15:51:57

封IP，封http头

G奶 · 发表于 2020-8-10 15:53:36

loukky 发表于 2020-8-10 15:33

你的站是有多少内容........能给你爬挂
搞了个蜘蛛池，没想到是这个效果，百度不来他来了。。。。。。。。。。

liuyangge · 发表于 2020-8-10 15:33:00

直接封UA关键字就好了

wltc2005 · 发表于 2020-8-10 15:57:33

我早年都直接封ip段

G奶squalll · 发表于 2020-8-10 16:10:16

wltc2005 发表于 2020-8-10 16:10

我早年都直接封ip段
已经封了全美国哈哈，看看效果如何

直接封UA超简单。
NGINX 一句话

if ($http_user_agent ~* (semrush)|curl)
{
return 404;
}

IIS可以利用url重写封UA，也是1分钟设置的事（百度例子很多）

封境外不划算，不能保证100%没境外或搞错IP段吧