【爬虫开源】91+1024+mm131爬虫

eqblog

早上差点被吓死。。mjj。。

项目全部整理到了Github：
91视频解析:https://github.com/eqblog/91_**_video_url
91视频爬虫:https://github.com/eqblog/91_**_spider
1024图片爬虫：https://github.com/eqblog/1024_img_spider_threads
mm131图片爬虫：https://github.com/eqblog/mm131_spider_threading


注意：仅支持python3
注意：仅支持python3
注意：仅支持python3


python需要requests库
请使用pip安装
pip3 install requests


修改目录出现的错误，请自行看代码修改。。本人精力有限（没入股营养快线），精力不足啊
至于我是哪学的爬虫吗。。
python3基础是网上随便找的教程看的。
其实不需要基础也可以学爬虫的。。有其它语言入门水平即可
我是从网上下的免费教程
是崔庆才的，他博客有付费教程，当然你也可以像我一样从网上下载免费的
我只学到了正则。。第10课时左右。。

bupoo

强帖刘明！！！！！！

ecosway598

py3 才好，py2还需要自己转编码

oldj

91 video spider

nerlnsqy

xinhualu246 发表于 2018-2-4 14:42

其实完全不用随机IP放到X-Forwarded-For
一个IP就能下完所有的


随机IP是为了破那个10视频限制 然后找出mp4地址的。。 虽然我也不知道有没有用。。

倾城翻翻

91视频的  只爬了54G就自己退了  难道91只有这么多 ?

不可能吧   退出也没提示

1024爬的吊炸天   2500个目录

fl20002

本帖最后由 eqblog 于 2018-2-4 14:30 编辑

fl20002 发表于 2018-2-4 14:27

91视频的  只爬了54G就自己退了  难道91只有这么多 ?

不可能吧   退出也没提示



你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错

对了。。默认只爬100页哦。。你把flag改下

while flag
ecosway598 发表于 2018-2-4 14:22

大佬  python2.7  你放弃了么


python2太麻烦了。。中文字符还得自己转。。还不如用python3。。方便点

lemontree

找了课程来看看，学习一下爬虫

eqblog

eqblog 发表于 2018-2-4 14:29

你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错
用的window  用Linux 好多502

100页  54G 差不多

大佬还是入股营养快线吧

稳赚不赔 本帖最后由 xinhualu246 于 2018-2-4 14:44 编辑

其实91完全不用伪造随机IP放到X-Forwarded-For
一个IP就能下完所有的

weilai丶

老哥 我又来了，脚本修改成只下载原标题文件.mp4的视频文件怎么弄啊？修改成“视频”就出现错误本页已下载完，下一页了，怎么解决啊