为啥Googlebot不停的爬我的网站？!

abccba94

今天登陆后台，发现CPU占用率过高




结果一查访问记录，是一个IP为66.249.79.134的在不停调用网页搜索，通过IP反查，确定是Googlebot，网页抓取机器人




你说抓取就抓取，还24小时不停的抓，多烦：




直接扔iptables干掉IP段

hxuf

你不要收录了？

真的不想花钱

羡慕有抓取的  

Wyane

升级配置就好了嘛

weiyoudeo

GBOT是这样的，一直在不停的抓

abccba94

weiyoudeo 发表于 2019-4-4 08:27

GBOT是这样的，一直在不停的抓
关键它搜索的还是一些莫名其妙的东西，比如
%EB%82%A8%EC%96%91%EC%A3%BC%EC%B6%9C%EC%9E%A5%EC%86%8C%EC%9D%B4%EC%8A%A4%E3%80%8E%EC%B9%B4%ED%86%A1%3A+Po+3+4%E3%80%8F%7BPoo3+4.c%EF%BC%90M%7D%EC%BD%9C%EA%B1%B8%EC%B6%9C%EC%9E%A5%EC%95%88%EB%A7%88%EC%B6%9C%EC%9E%A5%EB%A7%9B%EC%82%AC%EC%A7%80Y%E2%98%BA%E2%87%972019-02-23-04-51%EB%82%A8%EC%96%91%EC%A3%BC%E2%9E%B7AIJ%E2%94%AC%EC%B6%9C%EC%9E%A5%EC%83%89%EC%8B%9C%EB%AF%B8%EB%85%80%EC%96%B8%EB%8B%88%EC%95%88%EB%A7%88%EC%B6%9C%EC%9E%A5%EC%83%B5%EC%B6%94%EC%B2%9C%E2%86%BC%EC%B6%9C%EC%9E%A5%EC%84%9C%EB%B9%84%EC%8A%A4%EB%B3%B4%EC%9E%A5%E2%95%A0+%EC%B6%9C%EC%9E%A5%EB%A7%8C%EC%A1%B1%EB%B3%B4%EC%9E%A5%E2%87%AA%EB%82%A8%EC%96%91%EC%A3%BC

翻译出来是韩文：
“남양주출장소이스『카톡: Po 3 4』{Poo3 4.c０M}콜걸출장안마출장맛사지Y☺⇗2019-02-23-04-51남양주➷AIJ┬출장색시미녀언니안마출장샵추천↼출장서비스보장╠ 출장만족보장⇪남양주”

你说我站上又没有韩文，它整这个干啥￥%……&*

一灰

abccba94 发表于 2019-4-4 08:41

关键它搜索的还是一些莫名其妙的东西，比如
%EB%82%A8%EC%96%91%EC%A3%BC%EC%B6%9C%EC%9E%A5%EC%86%8C%EC ...

外链有，他的URL库就保存了