AWS S3 协议支持说明

概述

S3协议是AWS推出，在对象存储行业成为事实标准，US3产品在自有标准的基础上，增加了针对S3 v4协议标准的兼容支持。

支持的 API

US3 目前的 S3 协议模块对标准 S3 协议的支持如下表：

注意:

• PutObject 目前仅支持 1GB 大小文件，如果需要上传大于 1GB 的文件，请采用分片上传的 API

• PostObject 目前仅支持最大 32MB 文件的上传

• CopyObject 目前仅支持最大 100MB 文件的拷贝

• UploadPart 目前仅支持 8MB 定长分片大小（最后一个分片允许小于 8MB）。若有不定长分片的需求，请联系技术支持

• US3 S3 对 AWS S3 兼容的存储类型及其转换规则参考 存储类型转换规则

• US3 的 ETag 计算方式与 AWS S3 存在部分差异，建议不依赖该 ETag

• 目前不支持 S3 API 的 MD5 校验，建议关闭:

  1
  2
  3
  4
  例如AWS S3 Java SDK:
  System.setProperty(SkipMd5CheckStrategy.DISABLEGETOBJECTMD5VALIDATION_PROPERTY,"");
  
  System.setProperty(SkipMd5CheckStrategy.DISABLEPUTOBJECTMD5VALIDATION_PROPERTY,"");
  

• US3 的访问权限（ACL）定义与 AWS S3 存在差异，具体参考 访问权限定义（ACL）

• 目前文件访问权限控制 API（GetObjectAcl、PutObjectAcl）仅在部分地域支持

• 目前生命周期配置规则控制 API（PutBucketLifecycleConfiguration、GetBucketLifecycleConfiguration、DeleteBucketLifecycle）仅在部分地域支持

• 目前 UploadPartCopy 处于内测阶段。若有使用需求，请联系技术支持

• 目前不支持多版本功能（Versioning）

• 目前不支持标签功能（Tagging）

• ListObjects请求中的max-keys参数(请求返回对象的最大数量)最大值为5000

访问权限定义（ACL）

仅支持签名 V4

支持 V4 签名的场景：

1. URL 中携带参数（URL Query 部分的 x-amz-credential 字段）；

2. POST（表单中 x-amz-credential 域）;

3. Header 中携带参数（Authorization字段);

S3 的 AccessKeyID 和 SecretAccessKey 说明

S3 的 AccessKeyID（或称AccessKey）和 SecretAccessKey（或称SecretKey）对应就是 的 API 公钥和私钥，或者是 US3服务提供的 Token 公钥和 Token 私钥；

注意：要求无论是 API 公私钥还是 Token 公私钥，要求操作的 bucket，必须满足以下条件:

• 创建该 bucket 的账户与 API 公私钥的拥有者必须一致；

• 创建该 bucket 的账户与创建 Token 的账户必须一致；

S3的分片大小说明

1. 为了达到更好的传输性能，默认情况下仅支持8M大小的分片。
2. 部分地域已开通动态分片功能，如果固定8M分片无法满足需求，可联系技术支持开通动态分片。

API支持路径风格和虚拟主机风格

路径风格格式为: http://\${Endpoint}/\${bucket名字}/\${key名字}，bucket 名字作为路径使用的一部分。 例如，AWS S3 Java SDK 在 北京地域走外网使用 US3 S3 服务则设置如下：

1
2
3
4
5
6
7
8
9
"AWSCredential credentials = new BasicAWSCredentials(ACCESS_KEY,
SECRET_KEY);
ClientConfiguration clientConfig = new ClientConfiguration();
...
S3ClientOptions clientOptions = S3ClientOptions.builder().build();
clientOptions.setPathStyleAccess(true); // 表明使用路径风格API
AmazonS3 conn = new AmazonS3Client(credential, clientConfig);
conn.setS3ClientOptions(clientOptions);
conn.setEndpoint("s3-cn-bj.example.com");"

虚拟主机风格: http://${bucket名字}.${Endpoint}/${key名字}，类似US3目前使用的URL形式。

访问域名（Endpoint）

访问域名的一般语法如下：

protocol://s3-<region_code>.<custom_domain>

例如，http://s3-cn-sh2.example.com 是中国上海地区的 example S3 服务的外网访问域名。其中，s3 是AWS S3服务的<service_code>， cn-sh2 是<region_code>，.example.com 是 <custom_domain>。

对于内网访问域名，可以使用如下格式：

protocol://internal.s3-<region_code>.<custom_domain>

内网的 service_code 前需加上 内网访问标识符 internal. 即上述示例访问域名改为 http://internal.s3-cn-sh2.example.com

注意： 目前华北一，香港，胡志明，首尔，圣保罗，洛杉矶，华盛顿地域已经支持https协议，其他地域可支持路径风格https，后续支持虚拟主机风格https (所有地域内网不支持https)

关于 region_code.custom_domain 的说明

进入控制台的对象存储模块，在单地域空间管理分页下找到以下标签<Bucket Domain> 该标签由 <bucket name>.<region_code>.<custom_domain>组成

回调扩展功能支持

1
2
√:支持
×:不支持

存储类型转换规则