找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 25|回复: 0

请教一下这可是百度的什么行为?关于百度蜘蛛的

[复制链接]

15

主题

468

回帖

1035

积分

金牌会员

积分
1035
发表于 2018-8-31 12:37:57 | 显示全部楼层 |阅读模式



每天都有这种分散在全国的各种ip访问网站
UA都是Firefox 43
来源referer都是http://www.baidu.com/s?wd=xxxx
xxxx=各种随机字符数字串
因为百度已经https了,而且已经没有 s?wd= 这种连接结构了
说以这个referer只能是伪造的

我截取了其中的一部分log,如图。
我为什么怀疑是百度呢?因为ip很多,只能是全国都有机房的大公司行为,其中我拉红的两个ip段与Baiduspider的段相同。

请对百度蜘蛛有研究的看看这是百度的什么行为?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-5-9 18:49 , Processed in 0.014820 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表