阿里云OSS
目录
一、oss ossutil工具
二、oss ossfs Bucket挂载工具
三、AWS CLI S3工具
四、s3fs 挂载AWS S3
4.1、常见错误
一、ossutil 工具使用
以命令行方式管理OSS数据的工具，提供方便、简洁、丰富的Bucket和Object管理命令，支持Windows、Linux、 Mac平台
配置步骤
1、下载对应客户端
https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n
2、配置ossuntil依赖文件config
首先从RAM访问控制 获取用户AccessKey 里面包含accessKeyID、accessKeySecret信息，用户需要设置OSS对应的操作权限
3、运行下载的./ossutil配置config认证权限
./ossutil64 config
endpoint：填写Bucket所在地域的域名信息，可参考访问域名和数据中心。
accessKeyID：查看方式请参考创建AccessKey。
accessKeySecret：查看方式请参考创建AccessKey。
stsToken：非必配项，若采用STS临时授权方式访问OSS需要配置该项，否则置空即可。stsToken生成方式参考临时访问凭证。
config文件默认存放到对应用户的家目录 其它位置可使用， --config-file参数 指定config文件的存放位置
定时任务、自动化脚本之类需要系统自动执行的，存放位置为
C:\Windows\System32\config\systemprofile
4、常用复制命令cp、OSS路径是区分大小写的
上传：格式：./ossutil cp -r -- dir oss://bucket/path
下载：把上格式对换路径就行
例:从OSS对象桶testoss拷贝 2020422.zip 到D:\oss盘
--update对存在的文件进行更新
--parallel 4 以4个线程同时下载
./ossutil cp -r --update --parallel 4 oss://testoss/2020422.zip D:\oss
注意事项
错误一 unexpected EOF
OSS下载单个大文件（超过2G以上)容易报EOF错误，原因是并发太多 线程之间抢占资源导致报错，可以用 probe 命令对下载进行测试，根据测试值指定并发数 --parallel
./ossutilmac64 probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip
image.png
错误二 检查系统时间是否正确
FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.
Error: oss: service returned error: StatusCode=403, ErrorCode=, ErrorMessage="", RequestId=5EB3BD0764BB29FE4E302BC0, Bucket=yqexeftp, Object=update/rummsvr.exe
二、oss ossfs Bucket挂载工具
ossfs工具简介
ossfs能让您在Linux系统中，将对象存储OSS的存储空间（Bucket）挂载到本地文件系统中，您能够像操作本地文件一样操作OSS的对象（Object），实现数据的共享。
使用限制
ossfs使用有以下限制：
不支持挂载归档型Bucket。
编辑已上传文件会导致文件被重新上传。
元数据操作，例如list directory，因为需要远程访问OSS服务器，所以性能较差。
重命名文件/文件夹可能会出错。若操作失败，可能会导致数据不一致。
不适合高并发读/写的场景。
多个客户端挂载同一个OSS Bucket时，数据一致性由您自行维护。例如合理规划文件使用时间，避免出现多个客户端写同一个文件的情况。
不支持hard link。
1.快速安装 下载ossfs安装包
由于低版本的Linux系统内核版本比较低，ossfs进程在运行过程中容易出现掉线或者其他问题。因此建议您将操作系统升级到CentOS 7.0或者Ubuntu 14.04及以上版本。
以下载CentOS 7.0 (x64)版本为例：
wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpm
2.安装ossfs
CentOS6.5及以上系统版本的安装命令：
sudo yum localinstall your_ossfs_package
说明 对于使用yum安装rpm包的客户端，如果客户端节点网络环境特殊，无法直接用yum下载依赖包。可以在网络正常的、相同版本操作系统的节点上，使用yum下载依赖包并拷贝到网络特殊的节点。例如，ossfs需要依赖fuse 2.8.4以上版本，可使用如下命令，下载yum源中最新的fuse到本地：
sudo yum install --downloadonly --downloaddir=./ fuse
如果需要下载其他依赖包，则将fuse换成对应包的名称。
3.配置账号访问信息
将Bucket名称以及具有此Bucket访问权限的AccessKeyId/AccessKeySecret信息存放在/etc/passwd-ossfs文件中。注意这个文件的权限必须正确设置，建议设为640。
echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
4.将Bucket挂载到指定目录
ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
挂载示例：将杭州地域名称为bucket-test的Bucket挂载到/tmp/ossfs目录下。
echo bucket-test:LTAIbZcdVCmQ****:MOk8x0y9hxQ31coh7A5e2MZEUz**** > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs bucket-test /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com
配置访问权限
ossfs挂载的目录访问权限默认为挂载点的所有者，即执行挂载命令的用户，其他用户无法访问。如果要修改默认的权限设置，例如允许其他用户或用户组访问挂载点，可以在运行ossfs的时候使用如下参数，做到期望的权限设置。
allow_other：赋予计算机上其他用户访问挂载目录的权限，但不包括目录内的文件。如果您要更改文件夹中的文件访问权限，请用chmod命令。该选项不需要设置选项值，如果需要启用，请直接添加-oallow_other选项。
uid：设置文件夹属于某个用户时填写的用户uid。
gid：设置文件夹属于某个用户时填写的用户gid。
mp_umask：用来设定挂载点的权限掩码，只有当allow_other选项设置后，该选项才生效，默认值为000。使用方法与umask命令使用方式一致。例如需要设置挂载点的权限为770，则增加-oallow_other -omp_umask=007；需要设置挂载点的权限为700，则增加-oallow_other -omp_umask=077。
配置示例：
允许所用的用户访问，即权限为777
ossfs bucket_name mount_point -ourl=endpoint -oallow_other
只允许同组的用户访问，即权限为770
ossfs bucket_name mount_point -ourl=endpoint -oallow_other -omp_umask=007
挂载时指定为其他用户和组，同时只允许同组的用户访问，即权限为770
以www用户为例说明，先通过id命令获取用户的uid/gid信息，之后在挂载时指定uid/gid参数。
id www
uid=1000(www) gid=1000(web) groups=1000(web)
ossfs bucket_name mount_point -ourl=endpoint -oallow_other -ouid=1000 -ogid=1000 -omp_umask=007
挂载指定文件目录
ossfs除了可以把整个存储空间挂载到本地文件系统外，还可以通过设置前缀，把存储空间下的某个文件目录挂载到本地文件系统。命令格式如下：
ossfs bucket:/prefix mount_point -ourl=endpoint
通过这个方式挂载时，需要确保存储空间里存在${prefix}/ 这样一个对象。可以通过ossutil的stat命令查询该对象是否存在。
示例：将位于杭州地域的存储空间bucket-ossfs-test下的folder目录挂载到/tmp/ossfs-folder下。
ossfs bucket-ossfs-test:/folder /tmp/ossfs-folder -ourl=http://oss-cn-hangzhou.aliyuncs.com
三、AWS CLI S3工具
AWS CLI 提供对 AWS 服务的公共 API 的直接访问。您可以使用 AWS CLI 探索服务的功能，可以开发 Shell 脚本来管理资源。或者，也可以通过 AWS 开发工具包利用所学知识开发其他语言的程序。它类似阿里oss ossutil工具，大家可以通过这些接口，编写脚本命令来对AWS的资源进行常用的操作
1.下载客户端
https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/install-cliv2.html
2.配置s3依赖文件configure
S3 依赖信息文件是通过两个文件分开保存的，默认保存在家目录下 Linux、Windows
以下面官方说明
AWS CLI 将使用 aws configure 指定的凭证存储在主目录中名为 .aws 的文件夹中名为 credentials 的本地文件中。使用 aws configure 指定的其他配置选项存储在名为 config 的本地文件中，该文件也存储在主目录的 .aws 文件夹中。主目录位置因操作系统而异，但在 Windows 中使用环境变量 %UserProfile% 引用，在基于 Unix 的系统中使用 "$HOME"或 ~（波形符）引用。
例如，下面的命令列出 .aws 文件夹的内容。
-Linux 或 macOS
$ ls ~/.aws
-Windows
C:\> dir "%UserProfile%\.aws"
AWS CLI 使用两个文件将敏感的凭证信息（位于 ~/.aws/credentials 中）与不太敏感的配置选项（位于 ~/.aws/config 中）分开
配置configure
$ aws configure
AWS Access Key ID [None]: AKIAIOSFOxxxxvxxxxxnFE
AWS Secret Access Key [None]: wJalrXUtnFEMIxxxxvxxxxxPLEKEY
Default region name [None]: us-wxx-1
Default output format [None]: json
4、下面还是以常用复制命令sync命令以例，其它有功能可以参考官方文档
$ aws s3 sync <source> <target> [--options]
下面的示例将 my-bucket 中名为 path 的 Amazon S3 文件夹中的内容与当前工作目录同步。s3 sync 将更新与目标中的同名文件具有不同大小或修改时间的任何文件。输出显示在同步期间执行的特定操作。请注意，此操作将子目录 MySubdirectory 及其内容与 s3://my-bucket/path/MySubdirectory 递归同步。
$ aws s3 sync . s3://my-bucket/path
upload: MySubdirectory\MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txt
upload: MyFile2.txt to s3://my-bucket/path/MyFile2.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt
其它几个常用命令
aws configure list #查看配置信息
aws s3 ls #显示你有权限的桶
aws 没有类似 oss --config-file 的选项 需要通过环境变量 AWS_CONFIG_FILE 值来设备
四、 基于s3fs-fuse挂载S3至文件系统
1.S3FS介绍
S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口，兼容POSIX语义。S3fs是基于FUSE开发文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式
2、安装必要的软件依赖
sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel mailcap
3、使用git命令下载及安装s3fs
git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure
make && make install
4、检测s3fs是否生效，如出现以下结果表示生效
# s3fs
s3fs: missing BUCKET argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...
5、生成密钥文件并授权，其中的密钥为IAM用户生成
echo AKIAIOEO4xxxxxxxxxx:2LXBboddEpRLmWl48i3+b4zixxxxxvxxxxxxxx > /etc/.passwd-s3fs
chmod 600 /usr/xj/.passwd-s3fs
6、非AWS EC2手动挂载非域名为桶名的存储桶，url根据存储桶所在的区域不同更换网址，挂载目录需要提前建立，url地址可以随便打开一个存储桶的文件获得
格式 s3fs 桶名 本地目录 指定秘钥文件 桶对应的URL
s3fs bucket-name Local directory -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com
加写权限 -o default_acl="public-read-write -o use_path_request_style -o allow_other
https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/acl-overview.html#canned-acl
s3fs "www.tclub.in" /s3/tclub_in -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.ap-south-1.amazonaws.com -o default_acl="public-read-write -o use_path_request_style -o allow_other
7、非AWS EC2手动挂载以域名为桶名的存储桶
s3fs "s3.xxxxxxxx.amazonaws.com" /s3/xxx -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com -o use_path_request_style
8、EC2挂载非域名为桶名的存储桶
s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1
9、EC2挂载以域名为桶名的存储桶
s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1 -o use_path_request_style
最后取消挂载 直接umunot 会报设备忙
ps aux|grep s3f
kill -9 进程号
umount -l /XXX
4.1、常见错误
- 挂载失败
日志错误:
[root@r7003 ~]# s3fs youxibak /tmp/s3/ -o passwd_file=/root/.aws/passwd-s3fs -o url=https://testbucket.s3.ap-south-1.amazonaws.com -o endpoint=ap-south-1 -o use_path_request_style -o allow_other
Aug 27 07:28:28 r7003 dbus[646]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'
- 错误原因:https地址不对
- 应该使用
网友评论