网站设置了禁止人工访问，如何能查看

fengwuhen110 · 发表于 2019-2-11 22:40:07

网站设置了人工和蜘蛛的判断，蜘蛛访问应该是正常的，人工时候是404页面，但是设置模拟蜘蛛的ua去访问也是不行，但是快照一直是正常的，怎么才能查看这样的网站源码，当然不是指的php源码，我就是想看看他反馈给蜘蛛的代码。（vmdcfk.clmqycdw.tw）这是网站蜘蛛获取的这站的标题是赠我予星光百度云。人工访问404

黑壳虾 · 发表于 2019-2-11 22:43:00

识别分辨率

逸笙 · 发表于 2019-2-11 22:43:16

呃，哪个蜘蛛爬过它？？百度跟谷歌都没有快照，而且没北岸的话是阿里封端口……

fengwuhen110 · 发表于 2019-2-11 22:48:06

Titan 发表于 2019-2-11 22:43

有可能是识搜索引擎蜘蛛的IP，而不仅仅是依靠UA判断
嗯，不仅仅是ua

TechBlack · 发表于 2019-2-13 20:22:56

kx点r657b9j点pw:2263/xbb/zxtl点htm 长这个样。。。标准的引流站

fengwuhen110 · 发表于 2019-2-14 11:49:50

TechBlack 发表于 2019-2-14 11:49

kx点r657b9j点pw:2263/xbb/zxtl点htm 长这个样。。。标准的引流站
这不是tw的吗怎么转眼成了pw？

fengwuhen110 · 发表于 2019-2-14 11:54:05

TechBlack 发表于 2019-2-14 11:55

另外不是你人工访问的原因，是原来搜索引擎来的时候，这个有内容，后来内容被删了，但是搜索引擎没有更新。 ...
刚刚试了下，你说的不对，这个手机访问可以，电脑不行

TechBlack · 发表于 2019-2-14 11:55:05

另外不是你人工访问的原因，是原来搜索引擎来的时候，这个有内容，后来内容被删了，但是搜索引擎没有更新。

Titan · 发表于 2019-2-14 12:10:00

有可能是识搜索引擎蜘蛛的IP，而不仅仅是依靠UA判断