感觉无爱了啊...速度起不来...所谓的奶奶飞飞~艾薇~

pony · 发表于 2019-4-28 22:50:33

本帖最后由 pony 于 2019-4-28 23:45 编辑

所谓的奶奶飞飞~艾薇~

速度不行啊

弄了10台16TB存储的机器搞集群开爬

才发现他们的渣渣CDN限制了1个线程1000kb的速度

唉

无爱了。。。

kxxzz.com · 发表于 2019-4-28 22:53:09

加油啊大佬爬虫小白等着你分享呢

漂移弟 · 发表于 2019-4-28 22:53:43

kxxzz.com 发表于 2019-4-28 22:53

pony也用宝塔？
不论什么面板啊
好用就成
哪管出身

哈哈哈
不管黑猫白猫。。。（*）&%（*&……（）&……（）*dsahkjd，/。；akldh

pony · 发表于 2019-4-28 22:54:31

坐等大佬分享

avHD · 发表于 2019-4-28 22:53:00

都还没爬完
还不知道是否会有限制
起码磁盘是足够了
看时间吧

modianxia · 发表于 2019-4-28 22:57:25

挂上
[ol]

def get_proxy():

return requests.get[/ol]复制代码
某站被我自动爬了代理再加入线程，最后好几万代理加上多线程，活活被我爬死！！！

pony · 发表于 2019-4-28 23:08:33

lovees 发表于 2019-4-28 23:49

挂上

某站被我自动爬了代理再加入线程，最后好几万代理加上多线程，活活被我爬死！！！
大佬发个帖子,写个教程呗

lovees · 发表于 2019-4-28 23:44:34

vps1 发表于 2019-4-29 00:51

大佬发个帖子,写个教程呗
慢慢来呗，写教程的都基本上无人回帖，看情况吧，比如
[ol]

def get_proxy():

return requests.get("http://127.0.0.1:5005/get/").content

def get_all_proxy():

return requests.get("http://127.0.0.1:5005/get_all/").content

def delete_proxy(proxy):

requests.get("http://127.0.0.1:5005/delete/?proxy={}".format(proxy))[/ol]复制代码
加载添加代理，和删除无效代理，前提是搞个爬虫，把代理爬下来有效代理ip加入代理池内，无效ip或过期Ip自动剔除

lovees 发表于 2019-4-29 01:00

慢慢来呗，写教程的都基本上无人回帖，看情况吧，比如

加载添加代理，和删除无效代理，前提是搞个爬虫， ...
感谢大佬.~~

vps1 · 发表于 2019-4-28 23:49:18

不愧是pony 出手就是不一样

loveesvps1 · 发表于 2019-4-29 00:51:59

大佬好厉害 mark一下

		自动登录	找回密码
密码			立即注册