使用命令行将文件上传到阿里云OSS

我司大概有20*4万个小文件需要上传到阿里云的OSS上面，我用阿里云的OSS client API上传，速度非常的慢，总共4年的数据，每年的数据大概是20万个小文件，上传效率非常慢，大概1年的数据要两天才能传完。

后来嫌实在太慢了，翻了翻官网，发现可以用命令行上传，改用命令行之后速度一下子提升了，之前需要两天，现在只需要一个小时即可。虽然限制于网速、磁盘读取效率，但是速度已经非常可观了。

ossutil64 cp -r -j 80  文件地址  oss://Bucket/目标地址

-j 多文件操作时的并发任务数，默认值为3，取值范围为1~10000。

这个80可以根据磁盘的读取效率、网速、CPU等情况调整。

其他的配置，下载文件包，可以访问阿里云OSS对象存储的官网查看。

使用命令行将文件上传到阿里云OSS相关推荐

微信头像下载并上传到阿里云OSS，PHP文件上传到阿里云OSS简单代码（OSS文件上传，微信头像下载，CURL下载文件，微信头像链接过期）
(就这么个小事,有多少公司多少项目没做到!!) 微信公众号项目,后端获取到授权用户的微信头像后,要自行下载保存,不下载的话,微信返回的头像链接会在一段时间后过期,无法访问! 下面是我写的两个简单实用方 ...
linux centos8 将指定本地目录下的文件上传到阿里云OSS上
使用场景:为了解决高并发问题,尤其带宽限制(阿里云最高200M,当前首页一个用户请求4M的资源,导致带宽跟不上),jenkins打包vue下的前端静态资源上传到阿里云OSS上前提工作:因工具是jav ...
微信小程序 - 超详细 “纯前端“ 将文件上传到阿里云 OSS，最新阿里云 OSS 直传音视频、图片、word、excel、ppt、office 文档（全程无需后端，前端文件直传阿里云oss服务器）
前言网上的教程乱七八糟却文件少代码(并且没注释),而且都已经很老了,对于新手来说真的无从下手. 本文站在新手小白的角度,实现微信小程序开发中,"前端直传" 上传文件到阿里云oss ...
mysql数据库备份到oss_备份MySQL数据库并上传到阿里云OSS存储
1. 环境配置要将本地文件上传到阿里云oss中, 必须使用阿里云提供的工具 ossutil, 有32位,也有64位的, Linux和Windows都有.具体可以到阿里云官网下载本文以Linux系统 ...
Linux环境Shell脚本上传下载阿里云OSS文件
为什么80%的码农都做不了架构师?>>> Linux环境Shell脚本上传下载阿里云OSS文件背景工作中由于我们项目生成的日志文件比较重要,而本地磁盘空间有限存储不了多久, ...
图片文件压缩并上传至阿里云OSS
图片处理 Thumbnails 在进行Java开发时可以使用Thumbnails工具类对图片进行处理,旋转.裁剪.格式转换.加水印等. 使用步骤导包 <dependency><gr ...
java通过URL获取网络文件并上传到阿里云OSS文件服务器
首先,先从网络上读取到文件 /*** 从网络Url中读取文件* @param urlStr 文件URL地址* @throws IOException*/public String downLoadFr ...
Springboot文件上传(本地上传、阿里云oss、腾讯云、华为云、Minio上传、七牛云)
文件上传: 本地上传.阿里云oss.腾讯云.华为云.Minio上传.七牛云. <dependency><groupId>com.aliy ...
PHP如何下载微信语音到服务器，并将amr格式转换为MP3格式，最后上传到阿里云oss文件中
第一步:下载微信语音到服务器中废话不多说,直接上代码 1.总的流程方法(里面的方法在下面) 2.下载微信语音的方法 3.将微信语音的amr格式转换为MP3格式(需要使用FFmpeg,安装使用过程请看 ...

使用命令行将文件上传到阿里云OSS

使用命令行将文件上传到阿里云OSS相关推荐

最新文章

热门文章