阿里云OSS、AWS S3使用方法简介

阿里云OSS
目录
一、oss ossutil工具
二、oss ossfs Bucket挂载工具
三、AWS CLI S3工具
四、s3fs 挂载AWS S3
4.1、常见错误

一、ossutil 工具使用
以命令行方式管理OSS数据的工具，提供方便、简洁、丰富的Bucket和Object管理命令，支持Windows、Linux、 Mac平台

配置步骤
1、下载对应客户端

https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n

2、配置ossuntil依赖文件config
首先从RAM访问控制 获取用户AccessKey 里面包含accessKeyID、accessKeySecret信息，用户需要设置OSS对应的操作权限

3、运行下载的./ossutil配置config认证权限

./ossutil64  config
endpoint：填写Bucket所在地域的域名信息，可参考访问域名和数据中心。
accessKeyID：查看方式请参考创建AccessKey。
accessKeySecret：查看方式请参考创建AccessKey。
stsToken：非必配项，若采用STS临时授权方式访问OSS需要配置该项，否则置空即可。stsToken生成方式参考临时访问凭证。

config文件默认存放到对应用户的家目录 其它位置可使用， --config-file参数 指定config文件的存放位置

定时任务、自动化脚本之类需要系统自动执行的，存放位置为
C:\Windows\System32\config\systemprofile

4、常用复制命令cp、OSS路径是区分大小写的
上传：格式：./ossutil cp -r -- dir oss://bucket/path

下载：把上格式对换路径就行

例:从OSS对象桶testoss拷贝 2020422.zip 到D:\oss盘
--update对存在的文件进行更新
--parallel 4 以4个线程同时下载

./ossutil cp -r --update --parallel 4 oss://testoss/2020422.zip D:\oss

注意事项
错误一 unexpected EOF
OSS下载单个大文件（超过2G以上)容易报EOF错误，原因是并发太多 线程之间抢占资源导致报错，可以用 probe 命令对下载进行测试，根据测试值指定并发数 --parallel

./ossutilmac64  probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip
image.png

错误二 检查系统时间是否正确

FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.
Error: oss: service returned error: StatusCode=403, ErrorCode=, ErrorMessage="", RequestId=5EB3BD0764BB29FE4E302BC0, Bucket=yqexeftp, Object=update/rummsvr.exe

二、oss ossfs Bucket挂载工具
ossfs工具简介
ossfs能让您在Linux系统中，将对象存储OSS的存储空间（Bucket）挂载到本地文件系统中，您能够像操作本地文件一样操作OSS的对象（Object），实现数据的共享。
使用限制
ossfs使用有以下限制：
不支持挂载归档型Bucket。
编辑已上传文件会导致文件被重新上传。
元数据操作，例如list directory，因为需要远程访问OSS服务器，所以性能较差。
重命名文件/文件夹可能会出错。若操作失败，可能会导致数据不一致。
不适合高并发读/写的场景。
多个客户端挂载同一个OSS Bucket时，数据一致性由您自行维护。例如合理规划文件使用时间，避免出现多个客户端写同一个文件的情况。
不支持hard link。

1.快速安装 下载ossfs安装包
由于低版本的Linux系统内核版本比较低，ossfs进程在运行过程中容易出现掉线或者其他问题。因此建议您将操作系统升级到CentOS 7.0或者Ubuntu 14.04及以上版本。

以下载CentOS 7.0 (x64)版本为例：
wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpm

2.安装ossfs
CentOS6.5及以上系统版本的安装命令：

sudo yum localinstall your_ossfs_package

说明 对于使用yum安装rpm包的客户端，如果客户端节点网络环境特殊，无法直接用yum下载依赖包。可以在网络正常的、相同版本操作系统的节点上，使用yum下载依赖包并拷贝到网络特殊的节点。例如，ossfs需要依赖fuse 2.8.4以上版本，可使用如下命令，下载yum源中最新的fuse到本地：

sudo yum install --downloadonly --downloaddir=./ fuse

如果需要下载其他依赖包，则将fuse换成对应包的名称。

3.配置账号访问信息
将Bucket名称以及具有此Bucket访问权限的AccessKeyId/AccessKeySecret信息存放在/etc/passwd-ossfs文件中。注意这个文件的权限必须正确设置，建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

4.将Bucket挂载到指定目录
ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
挂载示例：将杭州地域名称为bucket-test的Bucket挂载到/tmp/ossfs目录下。

echo bucket-test:LTAIbZcdVCmQ****:MOk8x0y9hxQ31coh7A5e2MZEUz**** > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs bucket-test /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

配置访问权限
ossfs挂载的目录访问权限默认为挂载点的所有者，即执行挂载命令的用户，其他用户无法访问。如果要修改默认的权限设置，例如允许其他用户或用户组访问挂载点，可以在运行ossfs的时候使用如下参数，做到期望的权限设置。
allow_other：赋予计算机上其他用户访问挂载目录的权限，但不包括目录内的文件。如果您要更改文件夹中的文件访问权限，请用chmod命令。该选项不需要设置选项值，如果需要启用，请直接添加-oallow_other选项。
uid：设置文件夹属于某个用户时填写的用户uid。
gid：设置文件夹属于某个用户时填写的用户gid。
mp_umask：用来设定挂载点的权限掩码，只有当allow_other选项设置后，该选项才生效，默认值为000。使用方法与umask命令使用方式一致。例如需要设置挂载点的权限为770，则增加-oallow_other -omp_umask=007；需要设置挂载点的权限为700，则增加-oallow_other -omp_umask=077。

配置示例：
允许所用的用户访问，即权限为777

ossfs bucket_name mount_point -ourl=endpoint -oallow_other

只允许同组的用户访问，即权限为770

ossfs bucket_name mount_point -ourl=endpoint -oallow_other -omp_umask=007

挂载时指定为其他用户和组，同时只允许同组的用户访问，即权限为770
以www用户为例说明，先通过id命令获取用户的uid/gid信息，之后在挂载时指定uid/gid参数。

id www
uid=1000(www) gid=1000(web) groups=1000(web)
ossfs bucket_name mount_point -ourl=endpoint -oallow_other -ouid=1000 -ogid=1000 -omp_umask=007

挂载指定文件目录
ossfs除了可以把整个存储空间挂载到本地文件系统外，还可以通过设置前缀，把存储空间下的某个文件目录挂载到本地文件系统。命令格式如下：

ossfs bucket:/prefix mount_point -ourl=endpoint

通过这个方式挂载时，需要确保存储空间里存在${prefix}/ 这样一个对象。可以通过ossutil的stat命令查询该对象是否存在。

示例：将位于杭州地域的存储空间bucket-ossfs-test下的folder目录挂载到/tmp/ossfs-folder下。

ossfs bucket-ossfs-test:/folder /tmp/ossfs-folder -ourl=http://oss-cn-hangzhou.aliyuncs.com

三、AWS CLI S3工具
AWS CLI 提供对 AWS 服务的公共 API 的直接访问。您可以使用 AWS CLI 探索服务的功能，可以开发 Shell 脚本来管理资源。或者，也可以通过 AWS 开发工具包利用所学知识开发其他语言的程序。它类似阿里oss ossutil工具，大家可以通过这些接口，编写脚本命令来对AWS的资源进行常用的操作
1.下载客户端
https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/install-cliv2.html

2.配置s3依赖文件configure
S3 依赖信息文件是通过两个文件分开保存的，默认保存在家目录下 Linux、Windows
以下面官方说明
AWS CLI 将使用 aws configure 指定的凭证存储在主目录中名为 .aws 的文件夹中名为 credentials 的本地文件中。使用 aws configure 指定的其他配置选项存储在名为 config 的本地文件中，该文件也存储在主目录的 .aws 文件夹中。主目录位置因操作系统而异，但在 Windows 中使用环境变量 %UserProfile% 引用，在基于 Unix 的系统中使用 "$HOME"或 ~（波形符）引用。

例如，下面的命令列出 .aws 文件夹的内容。
-Linux 或 macOS

$ ls  ~/.aws

-Windows

C:\> dir "%UserProfile%\.aws"

AWS CLI 使用两个文件将敏感的凭证信息（位于 ~/.aws/credentials 中）与不太敏感的配置选项（位于 ~/.aws/config 中）分开

配置configure

$ aws configure 
AWS Access Key ID [None]: AKIAIOSFOxxxxvxxxxxnFE
AWS Secret Access Key [None]: wJalrXUtnFEMIxxxxvxxxxxPLEKEY
Default region name [None]: us-wxx-1
Default output format [None]: json

4、下面还是以常用复制命令sync命令以例，其它有功能可以参考官方文档

$ aws s3 sync <source> <target> [--options]

下面的示例将 my-bucket 中名为 path 的 Amazon S3 文件夹中的内容与当前工作目录同步。s3 sync 将更新与目标中的同名文件具有不同大小或修改时间的任何文件。输出显示在同步期间执行的特定操作。请注意，此操作将子目录 MySubdirectory 及其内容与 s3://my-bucket/path/MySubdirectory 递归同步。

$ aws s3 sync . s3://my-bucket/path
upload: MySubdirectory\MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txt
upload: MyFile2.txt to s3://my-bucket/path/MyFile2.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt

其它几个常用命令
aws configure list #查看配置信息
aws s3 ls #显示你有权限的桶
aws 没有类似 oss --config-file 的选项 需要通过环境变量 AWS_CONFIG_FILE 值来设备

四、 基于s3fs-fuse挂载S3至文件系统
1.S3FS介绍
S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口，兼容POSIX语义。S3fs是基于FUSE开发文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式

2、安装必要的软件依赖

sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel mailcap

3、使用git命令下载及安装s3fs

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure
make && make install

4、检测s3fs是否生效，如出现以下结果表示生效

# s3fs
s3fs: missing BUCKET argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

5、生成密钥文件并授权，其中的密钥为IAM用户生成

echo AKIAIOEO4xxxxxxxxxx:2LXBboddEpRLmWl48i3+b4zixxxxxvxxxxxxxx > /etc/.passwd-s3fs
chmod 600 /usr/xj/.passwd-s3fs

6、非AWS EC2手动挂载非域名为桶名的存储桶，url根据存储桶所在的区域不同更换网址，挂载目录需要提前建立，url地址可以随便打开一个存储桶的文件获得

格式  s3fs  桶名   本地目录   指定秘钥文件   桶对应的URL
s3fs bucket-name   Local directory -o passwd_file=/etc/.passwd-s3fs  -o url=https://s3.xxxxxxxx.amazonaws.com

加写权限 -o default_acl="public-read-write -o use_path_request_style -o allow_other

https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/acl-overview.html#canned-acl

s3fs "www.tclub.in" /s3/tclub_in -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.ap-south-1.amazonaws.com  -o  default_acl="public-read-write  -o use_path_request_style -o allow_other

7、非AWS EC2手动挂载以域名为桶名的存储桶

s3fs "s3.xxxxxxxx.amazonaws.com" /s3/xxx -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com  -o  use_path_request_style

8、EC2挂载非域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1

9、EC2挂载以域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1 -o use_path_request_style

最后取消挂载 直接umunot 会报设备忙

ps aux|grep s3f
kill -9  进程号
umount -l  /XXX

4.1、常见错误

  • 挂载失败
    日志错误:
[root@r7003 ~]# s3fs youxibak /tmp/s3/ -o passwd_file=/root/.aws/passwd-s3fs  -o url=https://testbucket.s3.ap-south-1.amazonaws.com -o endpoint=ap-south-1 -o use_path_request_style -o allow_other

Aug 27 07:28:28 r7003 dbus[646]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'
  • 错误原因:https地址不对

https://testbucket.s3.ap-south-1.amazonaws.com

  • 应该使用

https://s3.ap-south-1.amazonaws.com

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,772评论 6赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,458评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,610评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,640评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,657评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,590评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,962评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,631评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,870评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,386评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,969评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2赞 342