前言：该博客主要是记录自己学习的过程，方便以后查看，当然也希望能够帮到大家。
说明
- Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。
- GitHub地址，猛戳：https://github.com/minio/minio
- 官网地址，猛戳：https://docs.minio.io/cn/
- 搭建minio对象存储服务不在本文讨论范围，后续会专门针对这个另写一篇文章～
- 完整代码地址在结尾！！
第一步，在pom.xml加入依赖，如下
<!-- minio -->
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>7.1.0</version>
</dependency>
第二步，编写application.yml配置文件，如下
server:
port: 8188
spring:
application:
name: minio-demo-server
# minio配置
minio:
# minio地址
endpoint: https://xxx
# minio accessKey
accessKey: xxx
# minio secretKey
secretKey: xxx
第三步，创建MinioProperties，MinioConfig配置文件，如下
MinioProperties
import lombok.Data;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
/**
* 配置属性
* @author luoyu
*/
@Data
@Component
public class MinioProperties {
/**
* 对象存储服务的URL
*/
@Value("${minio.endpoint}")
private String endpoint;
/**
* Access key就像用户ID，可以唯一标识你的账户
*/
@Value("${minio.accessKey}")
private String accessKey;
/**
* Secret key是你账户的密码
*/
@Value("${minio.secretKey}")
private String secretKey;
}
MinioConfig
import io.minio.MinioClient;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
*
* 配置类
* @author luoyu
*/
@Slf4j
@Configuration
public class MinioConfig {
@Autowired
private MinioProperties minioProperties;
@Bean
public MinioClient minioClient() {
MinioClient minioClient = null;
try {
minioClient = new MinioClient(minioProperties.getEndpoint(), minioProperties.getAccessKey(), minioProperties.getSecretKey());
} catch (Exception e) {
log.error("minio初始化失败" + e);
}
return minioClient;
}
}
第四步，创建MinioItem实体类，如下
import io.minio.messages.Item;
import io.minio.messages.Owner;
import lombok.Data;
import java.time.LocalDateTime;
@Data
public class MinioItem {
// 文件名称
private String objectName;
// 最后操作时间
private LocalDateTime lastModified;
private String etag;
// 对象大小
private String size;
private String storageClass;
private Owner owner;
// 对象类型：directory（目录）或file（文件）
private String type;
private String url;
public MinioItem() {
}
public MinioItem(Item item) {
this.objectName = item.objectName();
this.type = item.isDir() ? "directory" : "file";
this.etag = item.etag();
long sizeNum = item.size();
this.size = sizeNum > 0 ? this.convertFileSize(sizeNum):"0";
this.storageClass = item.storageClass();
this.owner = item.owner();
this.lastModified = item.lastModified().toLocalDateTime();
}
public String convertFileSize(long size) {
long kb = 1024;
long mb = kb * 1024;
long gb = mb * 1024;
if (size >= gb) {
return String.format("%.1f GB", (float) size / gb);
} else if (size >= mb) {
float f = (float) size / mb;
return String.format(f > 100 ? "%.0f MB" : "%.1f MB", f);
} else if (size >= kb) {
float f = (float) size / kb;
return String.format(f > 100 ? "%.0f KB" : "%.1f KB", f);
} else{
return String.format("%d B", size);
}
}
}
第五步，创建MinioUtils工具类，如下
import com.luoyu.minio.enitiy.MinioItem;
import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import com.luoyu.minio.config.MinioProperties;
import org.springframework.util.CollectionUtils;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.InputStream;
import java.net.URLEncoder;
import java.nio.charset.StandardCharsets;
import java.util.*;
import java.util.stream.Collectors;
/**
* @author luoyu
*/
@Slf4j
@Component
public class MinioUtils {
@Autowired
private MinioProperties minioProperties;
@Autowired
private MinioClient minioClient;
/**
* 检查存储桶是否存在
* @param bucketName 存储桶名称
* @return boolean
*/
public boolean bucketExists(String bucketName){
try {
return minioClient.bucketExists(
BucketExistsArgs.builder()
.bucket(bucketName)
.build()
);
} catch (Exception e) {
log.error("检查存储桶是否存在失败：" + e);
return false;
}
}
/**
* 创建存储桶
* @param bucketName 存储桶名称
* @return boolean
*/
public boolean createBucket(String bucketName) {
try {
if (!this.bucketExists(bucketName)) {
minioClient.makeBucket(
MakeBucketArgs.builder()
.bucket(bucketName)
.build()
);
}
return true;
} catch (Exception e) {
log.error("创建存储桶失败：" + e);
return false;
}
}
/**
* 根据存储桶名称获取信息
* @param bucketName 存储桶名称
* @return
*/
public Optional<Bucket> getBucket(String bucketName) {
try {
return minioClient.listBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst();
} catch (Exception e) {
log.error("根据存储桶名称获取信息失败：" + e);
return null;
}
}
/**
* 根据存储桶删除信息
* @param bucketName 存储桶名称
*/
public void removeBucket(String bucketName) {
try {
minioClient.removeBucket(
RemoveBucketArgs.builder()
.bucket(bucketName)
.build()
);
} catch (Exception e) {
log.error("根据存储桶删除信息失败：" + e);
}
}
/**
* 根据文件前缀查询文件
* @param bucketName bucket名称
* @param prefix 前缀
* @param recursive 是否递归查询
* @return MinioItem 列表
*/
public List<MinioItem> getMinioItemsByPrefix(String bucketName, String prefix, Boolean recursive) {
try {
List<MinioItem> objectList = new ArrayList<>();
Iterable<Result<Item>> objectsIterator = minioClient.listObjects(
ListObjectsArgs.builder()
.bucket(bucketName)
.prefix(prefix)
.recursive(recursive)
.build())
;
for (Result<Item> result : objectsIterator) {
objectList.add(new MinioItem(result.get()));
}
return objectList;
} catch (Exception e) {
log.error("根据文件前缀查询文件失败：" + e);
return null;
}
}
/**
* 获取文件外链地址
* @param bucketName 存储桶名称
* @param objectName 文件名称
* @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
* @return String
*/
public String getPresignedObjectUrl(String bucketName, String objectName, Integer expiry) {
try {
return minioClient.getPresignedObjectUrl(
GetPresignedObjectUrlArgs.builder()
.method(Method.GET)
.bucket(bucketName)
.object(objectName)
.expiry(expiry)
.build()
);
} catch (Exception e) {
log.error("获取文件外链地址失败：" + e);
return null;
}
}
/**
* 获取文件
* @param bucketName 存储桶名称
* @param objectName 文件名称
* @return 二进制流
*/
public InputStream getObject(String bucketName, String objectName) {
try {
return minioClient.getObject(
GetObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.build()
);
} catch (Exception e) {
log.error("获取文件失败：" + e);
return null;
}
}
/**
* 获取全部存储桶
* @return List<Bucket>
*/
public List<Bucket> getBuckets() {
try {
return minioClient.listBuckets();
} catch (Exception e) {
log.error("获取全部存储桶失败：" + e);
return null;
}
}
/**
* 上传文件
* @param inputStream inputStream
* @param objectName objectName
* @param bucketName bucketName
* @param contentType contentType
*/
public void upload(InputStream inputStream, String objectName, String bucketName, String contentType) {
try {
// 检查存储桶是否已经存在，不存在则创建
this.createBucket(bucketName);
// 使用putObject上传一个文件到存储桶中。
minioClient.putObject(
PutObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.stream(inputStream, inputStream.available(), -1)
.contentType(contentType)
.build()
);
//关闭
inputStream.close();
} catch (Exception e) {
log.error("上传文件失败：" + e);
}
}
/**
* 下载文件
*
* @param response response
* @param objectName objectName
*/
public void download(HttpServletResponse response, String bucketName, String objectName) {
InputStream inputStream = null;
try {
ObjectStat stat = minioClient.statObject(
StatObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.build()
);
inputStream = this.getObject(bucketName, objectName);
response.setContentType(stat.contentType());
response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(objectName, String.valueOf(StandardCharsets.UTF_8)));
IOUtils.copy(inputStream, response.getOutputStream());
} catch (Exception e) {
log.error("下载文件失败：" + e);
} finally {
if (inputStream != null) {
try {
inputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
/**
* 获取文件url
* @param objectName objectName
* @return url
*/
public String getObjectUrl(String bucketName, String objectName) {
try {
return minioClient.getObjectUrl(bucketName, objectName);
} catch (Exception e) {
log.error("获取文件url失败：" + e);
return null;
}
}
/**
* 获取所有文件
* @param bucketName bucketName
*/
public List<MinioItem> list(String bucketName) {
try {
List<MinioItem> list = new ArrayList<MinioItem>();
Iterable<Result<Item>> results = minioClient.listObjects(
ListObjectsArgs.builder()
.bucket(bucketName)
.build()
);
for (Result<Item> result : results) {
Item item = result.get();
MinioItem minioItem = new MinioItem(item);
minioItem.setUrl(this.getObjectUrl(bucketName, item.objectName()));
list.add(minioItem);
}
return list;
} catch (Exception e) {
log.error("获取所有文件失败：" + e);
return null;
}
}
/**
* 删除文件
* @param bucketName 存储桶名称
* @param objectName 文件名
*/
public void deleteObjectName(String bucketName, String objectName) {
try {
minioClient.removeObject(
RemoveObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.build()
);
} catch (Exception e) {
log.error("删除文件失败：" + e);
}
}
/**
* 批量删除文件
* @param bucketName bucketName
* @param objectNames 文件名列表
*/
public void deleteObjectNames(String bucketName, List<String> objectNames) {
objectNames.forEach(objectNamesItem -> {
this.deleteObjectName(bucketName, objectNamesItem);
});
}
/**
* 创建上传文件对象的外链
* @param bucketName 存储桶名称
* @param objectName 欲上传文件对象的名称
* @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
* @return uploadUrl
*/
public String createUploadUrl(String bucketName, String objectName, Integer expiry){
try {
return minioClient.getPresignedObjectUrl(
GetPresignedObjectUrlArgs.builder()
.method(Method.PUT)
.bucket(bucketName)
.object(objectName)
.expiry(expiry)
.build()
);
} catch (Exception e) {
log.error("创建上传文件对象的外链失败：" + e);
return null;
}
}
/**
* 批量创建分片上传外链
* @param bucketName 存储桶名称
* @param objectMD5 欲上传分片文件主文件的MD5
* @param chunkCount 分片数量
* @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
* @return uploadChunkUrls
*/
public List<String> createUploadChunkUrlList(String bucketName, String objectMD5, Integer chunkCount, Integer expiry){
objectMD5 += "/";
if(null == chunkCount || 0 == chunkCount){
return null;
}
List<String> urlList = new ArrayList<>(chunkCount);
for (int i = 1; i <= chunkCount; i++){
String objectName = objectMD5 + i + ".chunk";
urlList.add(this.createUploadUrl(bucketName, objectName, expiry));
}
return urlList;
}
/**
* 创建指定序号的分片文件上传外链
* @param bucketName 存储桶名称
* @param objectMD5 欲上传分片文件主文件的MD5
* @param partNumber 分片序号
* @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
* @return uploadChunkUrl
*/
public String createUploadChunkUrl(String bucketName, String objectMD5, Integer partNumber, Integer expiry){
objectMD5 += "/" + partNumber + ".chunk";
return this.createUploadUrl(bucketName, objectMD5, expiry);
}
/**
* 获取分片文件名称列表
* @param bucketName 存储桶名称
* @param prefix 对象名称前缀（ObjectMd5）
* @param sort 是否排序(升序)
* @return objectNames
*/
public List<String> listObjectNames(String bucketName, String prefix, Boolean sort){
try {
ListObjectsArgs listObjectsArgs;
if (null == prefix) {
listObjectsArgs = ListObjectsArgs.builder()
.bucket(bucketName)
.recursive(true)
.build();
} else {
listObjectsArgs = ListObjectsArgs.builder()
.bucket(bucketName)
.prefix(prefix)
.recursive(true)
.build();
}
Iterable<Result<Item>> chunks = minioClient.listObjects(listObjectsArgs);
List<String> chunkPaths = new ArrayList<>();
for (Result<Item> item : chunks) {
chunkPaths.add(item.get().objectName());
}
if (sort) {
return chunkPaths.stream().distinct().collect(Collectors.toList());
}
return chunkPaths;
} catch (Exception e) {
log.error("获取分片文件名称列表失败：" + e);
return null;
}
}
/**
* 获取分片名称地址，HashMap：key=分片序号，value=分片文件地址
* @param bucketName 存储桶名称
* @param ObjectMd5 对象Md5
* @return objectChunkNameMap
*/
public Map<Integer, String> mapChunkObjectNames(String bucketName, String ObjectMd5, Boolean sort){
List<String> chunkPaths = this.listObjectNames(bucketName,ObjectMd5, sort);
if (CollectionUtils.isEmpty(chunkPaths)){
return null;
}
Map<Integer, String> chunkMap = new HashMap<>(chunkPaths.size());
for (String chunkName : chunkPaths) {
Integer partNumber = Integer.parseInt(chunkName.substring(chunkName.indexOf("/") + 1, chunkName.lastIndexOf(".")));
chunkMap.put(partNumber,chunkName);
}
return chunkMap;
}
/**
* 合并分片文件成对象文件
* @param chunkBucKetName 分片文件所在存储桶名称
* @param composeBucketName 合并后的对象文件存储的存储桶名称
* @param chunkNames 分片文件名称集合
* @param objectName 合并后的对象文件名称
* @return true/false
*/
public boolean composeObject(String chunkBucKetName, String composeBucketName, List<String> chunkNames, String objectName){
try {
List<ComposeSource> sourceObjectList = new ArrayList<>(chunkNames.size());
for (String chunk : chunkNames) {
sourceObjectList.add(
ComposeSource.builder()
.bucket(chunkBucKetName)
.object(chunk)
.build()
);
}
minioClient.composeObject(
ComposeObjectArgs.builder()
.bucket(composeBucketName)
.object(objectName)
.sources(sourceObjectList)
.build()
);
return true;
} catch (Exception e) {
log.error("合并分片文件成对象文件失败：" + e);
return false;
}
}
}
第六步，创建MinioController类，如下
import com.luoyu.minio.util.MinioUtils;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;
import javax.servlet.http.HttpServletResponse;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.UUID;
/**
* <p>
* minio 前端控制器
* </p>
*
* @author luoyu
* @since 2018-11-30
*/
@Slf4j
@RestController
public class MinioController {
@Autowired
private MinioUtils minioUtils;
/**
* 上传文件
*/
@PostMapping("/minio/upload")
public void uploadByMinio(MultipartFile file, String bucketName) throws Exception {
if (file.getSize() < 1){
log.warn("文件大小为：0");
return;
}
String fileName = file.getOriginalFilename();
String suffix = fileName.substring(fileName.lastIndexOf("."));
InputStream inputStream = file.getInputStream();
String contentType = file.getContentType();
String patchName = this.getPath() + suffix;
minioUtils.upload(inputStream, patchName, bucketName, contentType);
}
/**
* 下载文件
*/
@PostMapping("/minio/download")
public void downloadByMinio(HttpServletResponse response, String bucketName, String fileName) throws Exception {
minioUtils.download(response, bucketName, fileName);
}
/**
* 文件路径
* @return 返回上传路径
*/
private String getPath() {
//生成uuid
String uuid = UUID.randomUUID().toString().replaceAll("-", "");
//文件路径
SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");
return sdf.format(new Date()) + "/" + uuid;
}
}
第七步，启动项目，使用postman调接口，如下图
测试上传
image.png
到minio管理页面查看上传情况，以及上传后生成的文件名
image.png
测试下载
image.png
完整代码地址：https://github.com/Jinhx128/springboot-demo
注：此工程包含多个module，本文所用代码均在minio-demo模块下
后记：本次分享到此结束，本人水平有限，难免有错误或遗漏之处，望大家指正和谅解，欢迎评论留言。
网友评论