美文网首页
SpringBoot 2.2.5 整合Minio，实现文件云存储

SpringBoot 2.2.5 整合Minio，实现文件云存储

作者: 天不生我小金 | 来源:发表于2020-10-05 23:13 被阅读0次

    前言：该博客主要是记录自己学习的过程，方便以后查看，当然也希望能够帮到大家。

    说明

    1. Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。
    2. GitHub地址，猛戳：https://github.com/minio/minio
    3. 官网地址，猛戳：https://docs.minio.io/cn/
    4. 搭建minio对象存储服务不在本文讨论范围，后续会专门针对这个另写一篇文章～
    5. 完整代码地址在结尾！！

    第一步，在pom.xml加入依赖，如下

    <!-- minio -->
<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>7.1.0</version>
</dependency>

    第二步，编写application.yml配置文件，如下

    server:
  port: 8188

spring:
  application:
    name: minio-demo-server

# minio配置
minio:
  # minio地址
  endpoint: https://xxx
  # minio accessKey
  accessKey: xxx
  # minio secretKey
  secretKey: xxx

    第三步，创建MinioProperties，MinioConfig配置文件，如下

    MinioProperties
    import lombok.Data;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

/**
 * 配置属性
 * @author luoyu
 */
@Data
@Component
public class MinioProperties {

    /**
     * 对象存储服务的URL
     */
    @Value("${minio.endpoint}")
    private String endpoint;

    /**
     * Access key就像用户ID，可以唯一标识你的账户
     */
    @Value("${minio.accessKey}")
    private String accessKey;

    /**
     * Secret key是你账户的密码
     */
    @Value("${minio.secretKey}")
    private String secretKey;

}
    MinioConfig
    import io.minio.MinioClient;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 *
 * 配置类
 * @author luoyu
 */
@Slf4j
@Configuration
public class MinioConfig {

    @Autowired
    private MinioProperties minioProperties;

    @Bean
    public MinioClient minioClient() {
        MinioClient minioClient = null;
        try {
            minioClient = new MinioClient(minioProperties.getEndpoint(), minioProperties.getAccessKey(), minioProperties.getSecretKey());
        } catch (Exception e) {
            log.error("minio初始化失败" + e);
        }
        return minioClient;
    }

}

    第四步，创建MinioItem实体类，如下

    import io.minio.messages.Item;
import io.minio.messages.Owner;
import lombok.Data;

import java.time.LocalDateTime;

@Data
public class MinioItem {

    // 文件名称
    private String objectName;

    // 最后操作时间
    private LocalDateTime lastModified;

    private String etag;

    // 对象大小
    private String size;

    private String storageClass;

    private Owner owner;

    // 对象类型：directory（目录）或file（文件）
    private String type;

    private String url;

    public MinioItem() {
    }

    public MinioItem(Item item) {
        this.objectName = item.objectName();
        this.type = item.isDir() ? "directory" : "file";
        this.etag = item.etag();
        long sizeNum = item.size();
        this.size = sizeNum > 0 ? this.convertFileSize(sizeNum):"0";
        this.storageClass = item.storageClass();
        this.owner = item.owner();
        this.lastModified = item.lastModified().toLocalDateTime();
    }

    public String convertFileSize(long size) {
        long kb = 1024;
        long mb = kb * 1024;
        long gb = mb * 1024;
        if (size >= gb) {
            return String.format("%.1f GB", (float) size / gb);
        } else if (size >= mb) {
            float f = (float) size / mb;
            return String.format(f > 100 ? "%.0f MB" : "%.1f MB", f);
        } else if (size >= kb) {
            float f = (float) size / kb;
            return String.format(f > 100 ? "%.0f KB" : "%.1f KB", f);
        } else{
            return String.format("%d B", size);
        }
    }

}

    第五步，创建MinioUtils工具类，如下

    import com.luoyu.minio.enitiy.MinioItem;
import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import com.luoyu.minio.config.MinioProperties;
import org.springframework.util.CollectionUtils;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.InputStream;
import java.net.URLEncoder;
import java.nio.charset.StandardCharsets;
import java.util.*;
import java.util.stream.Collectors;

/**
 * @author luoyu
 */
@Slf4j
@Component
public class MinioUtils {

    @Autowired
    private MinioProperties minioProperties;

    @Autowired
    private MinioClient minioClient;

    /**
     * 检查存储桶是否存在
     * @param bucketName 存储桶名称
     * @return boolean
     */
    public boolean bucketExists(String bucketName){
        try {
            return minioClient.bucketExists(
                    BucketExistsArgs.builder()
                            .bucket(bucketName)
                            .build()
            );
        } catch (Exception e) {
            log.error("检查存储桶是否存在失败：" + e);
            return false;
        }
    }

    /**
     * 创建存储桶
     * @param bucketName 存储桶名称
     * @return boolean
     */
    public boolean createBucket(String bucketName) {
        try {
            if (!this.bucketExists(bucketName)) {
                minioClient.makeBucket(
                        MakeBucketArgs.builder()
                                .bucket(bucketName)
                                .build()
                );
            }
            return true;
        } catch (Exception e) {
            log.error("创建存储桶失败：" + e);
            return false;
        }
    }

    /**
     * 根据存储桶名称获取信息
     * @param bucketName 存储桶名称
     * @return
     */
    public Optional<Bucket> getBucket(String bucketName) {
        try {
            return minioClient.listBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst();
        } catch (Exception e) {
            log.error("根据存储桶名称获取信息失败：" + e);
            return null;
        }
    }

    /**
     * 根据存储桶删除信息
     * @param bucketName 存储桶名称
     */
    public void removeBucket(String bucketName) {
        try {
            minioClient.removeBucket(
                    RemoveBucketArgs.builder()
                            .bucket(bucketName)
                            .build()
            );
        } catch (Exception e) {
            log.error("根据存储桶删除信息失败：" + e);
        }
    }

    /**
     * 根据文件前缀查询文件
     * @param bucketName bucket名称
     * @param prefix     前缀
     * @param recursive  是否递归查询
     * @return MinioItem 列表
     */
    public List<MinioItem> getMinioItemsByPrefix(String bucketName, String prefix, Boolean recursive) {
        try {
            List<MinioItem> objectList = new ArrayList<>();
            Iterable<Result<Item>> objectsIterator = minioClient.listObjects(
                    ListObjectsArgs.builder()
                            .bucket(bucketName)
                            .prefix(prefix)
                            .recursive(recursive)
                            .build())
                    ;
            for (Result<Item> result : objectsIterator) {
                objectList.add(new MinioItem(result.get()));
            }
            return objectList;
        } catch (Exception e) {
            log.error("根据文件前缀查询文件失败：" + e);
            return null;
        }
    }

    /**
     * 获取文件外链地址
     * @param bucketName 存储桶名称
     * @param objectName 文件名称
     * @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
     * @return String
     */
    public String getPresignedObjectUrl(String bucketName, String objectName, Integer expiry) {
        try {
            return minioClient.getPresignedObjectUrl(
                    GetPresignedObjectUrlArgs.builder()
                            .method(Method.GET)
                            .bucket(bucketName)
                            .object(objectName)
                            .expiry(expiry)
                            .build()
            );
        } catch (Exception e) {
            log.error("获取文件外链地址失败：" + e);
            return null;
        }
    }

    /**
     * 获取文件
     * @param bucketName 存储桶名称
     * @param objectName 文件名称
     * @return 二进制流
     */
    public InputStream getObject(String bucketName, String objectName) {
        try {
            return minioClient.getObject(
                    GetObjectArgs.builder()
                            .bucket(bucketName)
                            .object(objectName)
                            .build()
            );
        } catch (Exception e) {
            log.error("获取文件失败：" + e);
            return null;
        }
    }

    /**
     * 获取全部存储桶
     * @return List<Bucket>
     */
    public List<Bucket> getBuckets() {
        try {
            return minioClient.listBuckets();
        } catch (Exception e) {
            log.error("获取全部存储桶失败：" + e);
            return null;
        }
    }

    /**
     * 上传文件
     * @param inputStream inputStream
     * @param objectName objectName
     * @param bucketName bucketName
     * @param contentType contentType
     */
    public void upload(InputStream inputStream, String objectName, String bucketName, String contentType) {
        try {
            // 检查存储桶是否已经存在，不存在则创建
            this.createBucket(bucketName);
            // 使用putObject上传一个文件到存储桶中。
            minioClient.putObject(
                    PutObjectArgs.builder()
                            .bucket(bucketName)
                            .object(objectName)
                            .stream(inputStream, inputStream.available(), -1)
                            .contentType(contentType)
                            .build()
            );
            //关闭
            inputStream.close();
        } catch (Exception e) {
            log.error("上传文件失败：" + e);
        }
    }

    /**
     * 下载文件
     *
     * @param response response
     * @param objectName objectName
     */
    public void download(HttpServletResponse response, String bucketName, String objectName) {
        InputStream inputStream = null;
        try {
            ObjectStat stat = minioClient.statObject(
                    StatObjectArgs.builder()
                            .bucket(bucketName)
                            .object(objectName)
                            .build()
            );
            inputStream = this.getObject(bucketName, objectName);
            response.setContentType(stat.contentType());
            response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(objectName, String.valueOf(StandardCharsets.UTF_8)));
            IOUtils.copy(inputStream, response.getOutputStream());
        } catch (Exception e) {
            log.error("下载文件失败：" + e);
        } finally {
            if (inputStream != null) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    /**
     * 获取文件url
     * @param objectName objectName
     * @return url
     */
    public String getObjectUrl(String bucketName, String objectName) {
        try {
            return minioClient.getObjectUrl(bucketName, objectName);
        } catch (Exception e) {
            log.error("获取文件url失败：" + e);
            return null;
        }
    }

    /**
     * 获取所有文件
     * @param bucketName bucketName
     */
    public List<MinioItem> list(String bucketName) {
        try {
            List<MinioItem> list = new ArrayList<MinioItem>();
            Iterable<Result<Item>> results = minioClient.listObjects(
                    ListObjectsArgs.builder()
                            .bucket(bucketName)
                            .build()
            );
            for (Result<Item> result : results) {
                Item item = result.get();
                MinioItem minioItem = new MinioItem(item);
                minioItem.setUrl(this.getObjectUrl(bucketName, item.objectName()));
                list.add(minioItem);
            }
            return list;
        } catch (Exception e) {
            log.error("获取所有文件失败：" + e);
            return null;
        }
    }

    /**
     * 删除文件
     * @param bucketName 存储桶名称
     * @param objectName 文件名
     */
    public void deleteObjectName(String bucketName, String objectName) {
        try {
            minioClient.removeObject(
                    RemoveObjectArgs.builder()
                            .bucket(bucketName)
                            .object(objectName)
                            .build()
            );
        } catch (Exception e) {
            log.error("删除文件失败：" + e);
        }
    }

    /**
     * 批量删除文件
     * @param bucketName bucketName
     * @param objectNames 文件名列表
     */
    public void deleteObjectNames(String bucketName, List<String> objectNames) {
        objectNames.forEach(objectNamesItem -> {
            this.deleteObjectName(bucketName, objectNamesItem);
        });
    }

    /**
     * 创建上传文件对象的外链
     * @param bucketName 存储桶名称
     * @param objectName 欲上传文件对象的名称
     * @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
     * @return uploadUrl
     */
    public String createUploadUrl(String bucketName, String objectName, Integer expiry){
        try {
            return minioClient.getPresignedObjectUrl(
                    GetPresignedObjectUrlArgs.builder()
                            .method(Method.PUT)
                            .bucket(bucketName)
                            .object(objectName)
                            .expiry(expiry)
                            .build()
            );
        } catch (Exception e) {
            log.error("创建上传文件对象的外链失败：" + e);
            return null;
        }
    }

    /**
     * 批量创建分片上传外链
     * @param bucketName 存储桶名称
     * @param objectMD5 欲上传分片文件主文件的MD5
     * @param chunkCount 分片数量
     * @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
     * @return uploadChunkUrls
     */
    public List<String> createUploadChunkUrlList(String bucketName, String objectMD5, Integer chunkCount, Integer expiry){
        objectMD5 += "/";
        if(null == chunkCount || 0 == chunkCount){
            return null;
        }
        List<String> urlList = new ArrayList<>(chunkCount);
        for (int i = 1; i <= chunkCount; i++){
            String objectName = objectMD5 + i + ".chunk";
            urlList.add(this.createUploadUrl(bucketName, objectName, expiry));
        }
        return urlList;
    }

    /**
     * 创建指定序号的分片文件上传外链
     * @param bucketName 存储桶名称
     * @param objectMD5 欲上传分片文件主文件的MD5
     * @param partNumber 分片序号
     * @param expiry 过期时间(秒) 最大为7天 超过7天则默认最大值
     * @return uploadChunkUrl
     */
    public String createUploadChunkUrl(String bucketName, String objectMD5, Integer partNumber, Integer expiry){
        objectMD5 += "/" + partNumber + ".chunk";
        return this.createUploadUrl(bucketName, objectMD5, expiry);
    }

    /**
     * 获取分片文件名称列表
     * @param bucketName 存储桶名称
     * @param prefix 对象名称前缀（ObjectMd5）
     * @param sort 是否排序(升序)
     * @return objectNames
     */
    public List<String> listObjectNames(String bucketName, String prefix, Boolean sort){
        try {
            ListObjectsArgs listObjectsArgs;
            if (null == prefix) {
                listObjectsArgs = ListObjectsArgs.builder()
                        .bucket(bucketName)
                        .recursive(true)
                        .build();
            } else {
                listObjectsArgs = ListObjectsArgs.builder()
                        .bucket(bucketName)
                        .prefix(prefix)
                        .recursive(true)
                        .build();
            }
            Iterable<Result<Item>> chunks = minioClient.listObjects(listObjectsArgs);
            List<String> chunkPaths = new ArrayList<>();
            for (Result<Item> item : chunks) {
                chunkPaths.add(item.get().objectName());
            }
            if (sort) {
                return chunkPaths.stream().distinct().collect(Collectors.toList());
            }
            return chunkPaths;
        } catch (Exception e) {
            log.error("获取分片文件名称列表失败：" + e);
            return null;
        }
    }

    /**
     * 获取分片名称地址，HashMap：key=分片序号，value=分片文件地址
     * @param bucketName 存储桶名称
     * @param ObjectMd5 对象Md5
     * @return objectChunkNameMap
     */
    public Map<Integer, String> mapChunkObjectNames(String bucketName, String ObjectMd5, Boolean sort){
        List<String> chunkPaths = this.listObjectNames(bucketName,ObjectMd5, sort);
        if (CollectionUtils.isEmpty(chunkPaths)){
            return null;
        }
        Map<Integer, String> chunkMap = new HashMap<>(chunkPaths.size());
        for (String chunkName : chunkPaths) {
            Integer partNumber = Integer.parseInt(chunkName.substring(chunkName.indexOf("/") + 1, chunkName.lastIndexOf(".")));
            chunkMap.put(partNumber,chunkName);
        }
        return chunkMap;
    }

    /**
     * 合并分片文件成对象文件
     * @param chunkBucKetName 分片文件所在存储桶名称
     * @param composeBucketName 合并后的对象文件存储的存储桶名称
     * @param chunkNames 分片文件名称集合
     * @param objectName 合并后的对象文件名称
     * @return true/false
     */
    public boolean composeObject(String chunkBucKetName, String composeBucketName, List<String> chunkNames, String objectName){
        try {
            List<ComposeSource> sourceObjectList = new ArrayList<>(chunkNames.size());
            for (String chunk : chunkNames) {
                sourceObjectList.add(
                        ComposeSource.builder()
                                .bucket(chunkBucKetName)
                                .object(chunk)
                                .build()
                );
            }
            minioClient.composeObject(
                    ComposeObjectArgs.builder()
                            .bucket(composeBucketName)
                            .object(objectName)
                            .sources(sourceObjectList)
                            .build()
            );
            return true;
        } catch (Exception e) {
            log.error("合并分片文件成对象文件失败：" + e);
            return false;
        }
    }

}

    第六步，创建MinioController类，如下

    import com.luoyu.minio.util.MinioUtils;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import javax.servlet.http.HttpServletResponse;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.UUID;

/**
 * <p>
 * minio 前端控制器
 * </p>
 *
 * @author luoyu
 * @since 2018-11-30
 */
@Slf4j
@RestController
public class MinioController {

    @Autowired
    private MinioUtils minioUtils;

    /**
     * 上传文件
     */
    @PostMapping("/minio/upload")
    public void uploadByMinio(MultipartFile file, String bucketName) throws Exception {
        if (file.getSize() < 1){
            log.warn("文件大小为：0");
            return;
        }
        String fileName = file.getOriginalFilename();
        String suffix = fileName.substring(fileName.lastIndexOf("."));
        InputStream inputStream = file.getInputStream();
        String contentType = file.getContentType();
        String patchName = this.getPath() + suffix;
        minioUtils.upload(inputStream, patchName, bucketName, contentType);
    }

    /**
     * 下载文件
     */
    @PostMapping("/minio/download")
    public void downloadByMinio(HttpServletResponse response, String bucketName, String fileName) throws Exception {
        minioUtils.download(response, bucketName, fileName);
    }

    /**
     * 文件路径
     * @return 返回上传路径
     */
    private String getPath() {
        //生成uuid
        String uuid = UUID.randomUUID().toString().replaceAll("-", "");
        //文件路径
        SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");
        return sdf.format(new Date()) + "/" + uuid;
    }

}

    第七步，启动项目，使用postman调接口，如下图

    测试上传
    image.png
    到minio管理页面查看上传情况，以及上传后生成的文件名
    image.png
    测试下载
    image.png
    完整代码地址：https://github.com/Jinhx128/springboot-demo
    注：此工程包含多个module，本文所用代码均在minio-demo模块下

    后记：本次分享到此结束，本人水平有限，难免有错误或遗漏之处，望大家指正和谅解，欢迎评论留言。

    相关文章

      网友评论

          本文标题：SpringBoot 2.2.5 整合Minio，实现文件云存储

          本文链接：https://www.haomeiwen.com/subject/gkezuktx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|SpringBoot 2.2.5 整合Minio，实现文件云存储|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！