google drive 如何快速上传大量小文件

dagema · 发表于 2019-10-29 10:27:44

如题。
用了rclone测试单个大文件的上传速度可以达到10M/s

但如果是大量的小文件，（每个大概100k左右）,这不管上传线程开到10还是20都是400~500k左右

rclone copy --ignore-existing --progress --cache-chunk-size 136M --transfers=20 /home/www google:www

不管如何设置 --cache-chunk-size 和－－transfers（这个管上传文件线程），速度都不能明显提高。

请老司机赐教一下，更快上传速度的方法，感谢！

dagema · 发表于 2019-10-29 10:58:29

测了下gdrive速度也一样

爱尔兰不动产 · 发表于 2019-10-29 11:03:27

你本地拷小文件速度都慢别说是上传了...小文件建议打包

dagema · 发表于 2019-10-29 11:13:50

爱尔兰不动产发表于 2019-10-29 11:03

你本地拷小文件速度都慢别说是上传了...小文件建议打包
如果是ssh就很快。

yidaomm · 发表于 2019-10-29 11:03:00

如果是两个google drive,rclone copy如何使用，实现从一个文件夹复制到另一个文件夹

kuk · 发表于 2019-10-29 12:06:23

醒醒，你就算copy够快，大量小文件会判你超速

leasr · 发表于 2019-10-29 12:08:50

打包吧，无解的

bige · 发表于 2019-10-29 12:08:57

小文件就这样吧，毕竟磁盘还要有时间

CACss · 发表于 2019-10-29 12:20:50

缓存设置减少或为0，
另外API限制的每秒调用数，可能快不了多少
多开几个API，设置多个rclone配置，分文件夹，每个文件夹上传到的GD设置不同的API配置

dagema · 发表于 2019-10-29 12:35:06

CACss 发表于 2019-10-29 12:35

缓存设置减少或为0，
另外API限制的每秒调用数，可能快不了多少
多开几个API，设置多个rclone配置，分文件 ...
这个专业

		自动登录	找回密码
密码			立即注册