查看: 239|回复: 16

有什么办法 不让网站 被各大搜索引擎收录

[复制链接]

130

主题

447

回帖

1384

积分

金牌会员

积分
1384
发表于 2017-8-19 19:14:58 | 显示全部楼层 |阅读模式
除了去 暗网
回复

使用道具 举报

263

主题

4213

回帖

9279

积分

论坛元老

积分
9279
发表于 2017-8-19 19:15:35 | 显示全部楼层
全站必须登录才能访问就是
回复

使用道具 举报

55

主题

2108

回帖

4537

积分

论坛元老

积分
4537
发表于 2017-8-19 19:19:00 | 显示全部楼层
robost.txt加上nginx判断一下蜘蛛的ua
回复

使用道具 举报

24

主题

1866

回帖

3948

积分

论坛元老

积分
3948
发表于 2017-8-19 19:19:12 | 显示全部楼层
设置Robot.txt是可以的。。。
回复

使用道具 举报

609

主题

4428

回帖

1万

积分

论坛元老

积分
10765
发表于 2017-8-19 19:19:29 | 显示全部楼层

余晖脉脉 发表于 2017-8-19 19:19

还是会收录登陆页面



回复

使用道具 举报

263

主题

4213

回帖

9279

积分

论坛元老

积分
9279
发表于 2017-8-19 19:19:42 | 显示全部楼层
robost.txt?
回复

使用道具 举报

24

主题

1866

回帖

3948

积分

论坛元老

积分
3948
发表于 2017-8-19 19:20:55 | 显示全部楼层
我记得meta头部信息也可以设置好像
回复

使用道具 举报

55

主题

2108

回帖

4537

积分

论坛元老

积分
4537
发表于 2017-8-19 19:21:30 | 显示全部楼层
就是robots.txt,“各大搜索引擎”还是能遵守的,不遵守的都是些不知道什么玩意儿的搜索引擎头部返回500状态
回复

使用道具 举报

169

主题

2114

回帖

4815

积分

论坛元老

积分
4815
发表于 2017-8-19 19:21:50 | 显示全部楼层
用这个 http://tool.chinaz.com/robots/
回复

使用道具 举报

0

主题

1

回帖

4

积分

新手上路

积分
4
发表于 2017-8-19 19:23:23 | 显示全部楼层
CC策略屏蔽引擎
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:admin@discuz.vip

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.

在本版发帖
关注公众号
返回顶部