抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试

爬虫部落 · 发表于 2017-9-25 21:13:05

RT，
Google的防护做的挺严格的，6000W数据用了近一个月。
下一步开始弄站，一个月后汇报下结果。

william2ct · 发表于 2017-9-25 21:14:55

mark,一个月后来看大佬结果

doing · 发表于 2017-9-25 22:00:48

mark,一个月后来看大佬结果

爬虫部落 · 发表于 2017-9-25 22:01:00

miven 发表于 2017-9-25 22:29

大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用
500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数）

Polymer_dg · 发表于 2017-9-25 22:01:45

你是怎么抓的 GOOGLE 封IP 啊

爬虫部落 · 发表于 2017-9-25 22:05:00

Polymer_dg 发表于 2017-9-25 22:01

你是怎么抓的 GOOGLE 封IP 啊
多IP轮流，要是不封IP也不用这么久了

zhoutiancai · 发表于 2017-9-25 22:05:05

大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？

爬虫部落 · 发表于 2017-9-25 22:08:21

zhoutiancai 发表于 2017-9-25 22:05

大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？
刚抓取完还没入库，数据大概500G左右，只抓取了前20个结果

njav · 发表于 2017-9-25 22:09:00

數據多K站也快...做google就是這個下場

我都有幾個億數據

miven · 发表于 2017-9-25 22:09:29

爬虫部落发表于 2017-9-25 22:09

多IP轮流，要是不封IP也不用这么久了
大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用

		自动登录	找回密码
密码			立即注册