求个批量下载图片的软件 或者linux的爬虫脚本

gougou6423

本帖最后由 gougou6423 于 2018-11-7 14:37 编辑

python3的，需要先 pip install requests
[ol]

THREAD = 10 #线程数

LINK_PATH = 'link.txt' #保存链接的文件

import concurrent.futures

import time

import requests

import os

import imghdr

def download(url):

        url = url.strip()

        r = requests.get(url, stream=True)

        chunk_size=1048576

        filename = url.split('/')[-1]

        with open(filename, "wb") as f:

                for chunk in r.iter_content(chunk_size=chunk_size):

                        if chunk:

                                f.write(chunk)

        print(filename + "下载完成")

        return filename

        

start = time.time()

print("图片下载开始")

f = open(LINK_PATH)

urls = f.readlines()

f.close()

executor = concurrent.futures.ThreadPoolExecutor(max_workers=THREAD)

all_task = [executor.submit(download, (url)) for url in urls]

for future in concurrent.futures.as_completed(all_task):

        filename = future.result()

        if not os.path.splitext(filename)[1]:

                img_type = imghdr.what(filename)

                os.rename(filename, filename + '.' + img_type)

end = time.time()               

print("所有图片下载完成,耗时%.2f秒" %(end-start))

[/ol]复制代码

hehe

miniliuke 发表于 2018-11-7 14:17

有人需要这种软件吗，联系我，免费免费免费！！！！
同求 分享一下 谢谢

miniliuke

有人需要这种软件吗，联系我，免费免费免费！！！！

FxckEveryBody

miniliuke 发表于 2018-11-7 14:17

有人需要这种软件吗，联系我，免费免费免费！！！！
兄弟分享一下 谢谢

李沁峰

FxckEveryBody 发表于 2018-11-7 10:16

这个我在用 下载好慢啊 受不了
有没有办法多线程
兄dei，帮下载一张图片。
http://img.hb.aicdn.com/5edfc7d3e06fb10a22c479559986b4b62cf1d6131a27a5-Hu8cBw

李沁峰miniliuke

FxckEveryBody 发表于 2018-11-7 14:24

兄弟分享一下 谢谢
加我Q腾Q吧，没有链接，自己写的一个小程序......私信我

ninqq

hehe 发表于 2018-11-7 14:36

你链接都贴出来了不会自己下？

FxckEveryBody

hehe 发表于 2018-11-7 14:36

你链接都贴出来了不会自己下？
你看一下，你能下载得了吗？
ninqq 发表于 2018-11-7 14:37

同求 分享一下 谢谢
加我Q腾Q吧，没有链接，自己写的一个小程序......私信我