有什么办法不让网站被各大搜索引擎收录

醉里耍大刀 · 发表于 2017-8-19 19:24:17

以lnmp为例，在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件，输入以下代码：
[ol]

if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {

return 403;

}[/ol]复制代码
然后重启nginx生效，能不让搜索引擎收录，但是我的网站还是被墙了

Rabbey · 发表于 2017-8-19 19:44:40

设置网站访问密码

kaivps代理 · 发表于 2017-8-19 19:46:20

垃圾域名就不会被收录，TK、ML这些

十十 · 发表于 2017-8-19 19:47:01

dvbhack 发表于 2017-8-19 19:23

就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎 ...
google就帶頭不遵守

Tran · 发表于 2017-8-19 19:50:36

屏蔽了还是会收录比如你在百度搜索淘宝网那种效果，最好的是直接屏蔽搜索引擎的ip地址

kyotrue · 发表于 2017-8-19 21:10:25

你需要按照防采集的思路防搜索引擎屏蔽蜘蛛ip

njav · 发表于 2017-8-19 23:26:05

设置个401认证

		自动登录	找回密码
密码			立即注册

有什么办法 不让网站 被各大搜索引擎收录