在学爬虫，这个实在搞不懂，哪位大大帮看看

MagicHen · 发表于 2016-11-5 16:51:46

目标站禁止爬虫
你要加个header，
再不行加代理
还有你要控制好速度，很深的，慢慢来

万人迷 · 发表于 2016-11-5 17:04:35

你这个是什么爬虫？看起来很高端的样子

MagicHen · 发表于 2016-11-5 17:07:23

你这个只是最简单的下载功能，如果不被封的话还要考虑反爬虫策略，这个才是真正麻烦的

houset · 发表于 2016-11-5 21:14:29

路过帮顶一下，网站已收藏

kingjci · 发表于 2016-11-5 21:29:19

我打算学，所以帮不到你呢

三胖的日常 · 发表于 2016-11-5 22:16:09

只用过scrapy，这是被ban了吗，关注下
动态更改useragent并且加代理呢，另外禁用cookies和延长下载间隔时间

柊星瞳 · 发表于 2016-11-5 23:43:53

pyspider

mayahs · 发表于 2016-11-6 00:12:03

语法好奇怪看不懂 urllib.requests是什么？urllib.urlretrieve 用这个命令保存

ihsky · 发表于 2016-11-6 00:13:17

ua改成chrome可解 retrive那个ua也得改

用户名		自动登录	找回密码
密码			立即注册