抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试

flashack · 发表于 2017-9-25 22:29:00

搜索结果？？这个要做百度吗

miven拼命二郎 · 发表于 2017-9-25 22:29:11

爬虫部落发表于 2017-9-25 22:32

500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数） ...
多谢指教

看ID就知道楼主是个大牛，话不多说，求分享数据

爬虫部落 · 发表于 2017-9-25 22:32:00

houset 发表于 2017-9-25 23:56

500个IP怎么搞？大佬求带，是用火车头吗？
这个各凭本事吧：
有钱的去买
没钱的去抓
火车头我没用过，自己写了一段Python代码抓取的

houset · 发表于 2017-9-25 22:32:22

500个IP怎么搞？大佬求带，是用火车头吗？

爬虫部落 · 发表于 2017-9-25 22:32:42

flashack 发表于 2017-9-26 00:04

搜索结果？？这个要做百度吗
这个数量和百度的索引量比九牛一毛（有点夸张）

爬虫部落 · 发表于 2017-9-25 22:33:25

njav 发表于 2017-9-25 23:27

數據多K站也快...做google就是這個下場
我都有幾個億數據
6KW数据精简了所有不必要的内容后只保留纯json格式大概600G
假设你有6亿数据差不多就是6T
这个数据量不是每个人都能玩好

Lkanu · 发表于 2017-9-25 23:27:00

mark,一个月后来看大佬结果

Eric.c · 发表于 2017-9-25 23:27:23

关注的是一下子上6000万数据如何不k站

Polymer_dg · 发表于 2017-9-25 23:56:12

爬虫部落发表于 2017-9-25 22:09

多IP轮流，要是不封IP也不用这么久了
HTTP 代理？

咸鱼突刺 · 发表于 2017-9-26 00:04:33

爬虫部落发表于 2017-9-26 01:04

这个各凭本事吧：
有钱的去买
没钱的去抓
大佬，都采集什么内容？6000万大佬求教朋友！！

		自动登录	找回密码
密码			立即注册