fastDFS结合SpringBoot案例

作者: 强某某 | 来源:发表于2019-04-30 15:09 被阅读65次

什么是分布式文件系统

文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。
一个典型的网络可能包含多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

技术应用场景

文件太多如何高效存储？用户访问量大如何保证下载速度？

采用分布式文件系统可以将多个地点的文件系统通过网络连接起来，组成一个文件系统网络，节点之间通过网络进行通信，一个文件系统的存储和传输能力有限，让文件在多台计算机上存储，通过多台计算机共同传输。

主流的分布式文件系统

NFS：一个映射关系文件系统，大学机房文件共享一般使用。
GFS：google出品，文件分块存储到不同数据节点，有容错，备份，主从
HDFS: hadpoo中常用，类似GFS

分布式文件服务提供商

阿里OSS
七牛云存储
百度云存储

fastDFS

fastDFS由C语言编写，由淘宝资深架构师余庆编写并开源。fastDFS专为互联网打造，充分考虑冗余备份，负载均衡，线性扩容等机制，并注重高可用，高性能等指标，使用fastDFS很容易搭建一套高性能的文件服务器集群提供文件上传，下载等服务。

上述的通过分布式文件系统，虽然开发体验好，但是系统复杂性高，性能一般。fastDFS非常适合存储图片等小文件，fastDFS不对文件进行分块，所以没有分块合并的开销，fastDFS网络通信采用socket，通信速度快。

fastDFS工作原理

fastDFS架构

fastDFS架构包括Tracker server和Storageserver。客户端请求Tracker server进行文件上传，下载，通过Tracker server调度最终由
Storageserver完成文件上传和下载。

图一.png

Tracker

Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storageserver提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。

fastDFS集群中的Tracker server可以有多台，Tracker server之间时相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。

Storage

Storage Server作用时文件存储，客户端上传的文件最终存储在Storage服务器上，Storage Server没有实现自己的文件系统而是使用操作系统的文件系统来管理文件。可将storage称为存储服务器。

Storage集群采用了分组存储方式。stroage集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，组内的Storage Server之间时平等关系，不同组的Storage
server之间不会相互通信，同组内的Storage server 之间会相互连接进行文件同步，从而保证同组每个storage 上的文件完全一致的。一个组的存储容量为该组内存储服务器容量最小的那个，由此可见组内存储服务器的软硬件配置最好是一致的。

采用分组存储方式的好处是灵活、可控性较强．比如上传文件时，可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。

Storage状态收集

Storage Server会连接集群中所有的Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间，文件同步状况，文件上传下载次数等统计信息。

文件上传流程

图二.png

客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括:组名，虚拟磁盘路径，数据两级目录，文件名。

例如：

group1/M00/02/44/ wkgdre34easfasnfaklfnaf4r8.sh

组名：文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存．
虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项sotre path*对应。如果配置了 store_path0 则是 MOO, 如果配置了store _ pathl 则是 M01，以此类推．
数据两级目录： Storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件．
文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

文件下载流程

图三.png

tracker根据请求的文件路径即文件ID 来快速定义文件。

比如请求下边的文件：

group1/M00/02/44/ wkgdre34easfasnfaklfnaf4r8.sh

1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1，并选择合适的存储服务器提供客户端访问。

2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到
客户端需要访问的文件。

下载和安装

下载

tracker和storage使用相同的安装包，fastDFS的下载地址在：https://github.com/happyfish100/FastDFS

此次选择下载：FastDFS_v5.05.tar.gz

FastDFS是C语言开发，建议在linux上运行，此处使用CentOS7作为安装环境。

安装

Tracker配置

fastDFS的配置文件目录：/etc/fdfs

主要的配置文件：/etc/fdfs/tracker.conf （tracker配置文件）；storage.conf（storage配置文件）

图四.png

tracker.conf配置内容如下：

端口：port=22122

tracker 基础目录：base_path=/home/fastdfs，tracker在运行时会向此目录存储storage的管理数据。

storage配置

storage.conf配置内容如下：

组名：group_name=group1

端口：port=23000

向tracker心跳间隔（秒）：heart_beat_interval=30

storage基础目录：base_path=/home/fastdfs

磁盘存储目录：

store_path0=/home/fastdfs/fdfs_storage 此目录下存储上传的文件，在/home/fastdfs/fdfs_storage/data下

store_path1=...

有多个磁盘就定义多个store_path

上报tracker的地址：tracker_server=192.168.101.64:22122

如果有多个tracker则配置多个tracker，比如：

tracker_server=192.168.101.64:22122

tracker_server=192.168.101.65:22122

...

启动停止

fastDFS启动/停止脚本目录：

图五.png

fdfs_trackerd：tracker脚本，通过此脚本对 tracker进行启动和停止

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

fdfs_storaged：storage脚本，通过此脚本对 storage进行启动和停止

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

文件上传下载测试

java版本的fastdfs-client地址在：https://github.com/happyfish100/fastdfs-client-java

创建maven工程
添加依赖

<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring‐boot‐starter‐parent</artifactId>
<version>1.5.9.RELEASE</version>
</parent>
<groupId>cn.itcast.javaee</groupId>
<artifactId>fastdfs</artifactId>
<version>1.0‐SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring‐boot‐starter‐web</artifactId>
</dependency>
<!‐‐ https://mvnrepository.com/artifact/net.oschina.zcx7878/fastdfs‐client‐java ‐‐>
<dependency>
<groupId>net.oschina.zcx7878</groupId>
<artifactId>fastdfs‐client‐java</artifactId>
<version>1.27.0.0</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring‐boot‐starter‐test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons‐io</artifactId>
<version>1.3.2</version>
</dependency>
</dependencies>

配置文件
在classpath:config下创建fastdfs-client.properties文件

fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF‐8
fastdfs.http_anti_steal_token = false
fastdfs.http_secret_key = FastDFS1234567890
fastdfs.http_tracker_http_port = 80
fastdfs.tracker_servers = 192.168.101.64:22122

文件上传

//上传文件
    @Test
    public void testUpload() {
        try {
            ClientGlobal.initByProperties("config/fastdfs‐client.properties");
            System.out.println("network_timeout=" + ClientGlobal.g_network_timeout + "ms");
            System.out.println("charset=" + ClientGlobal.g_charset);
            TrackerClient tc = new TrackerClient();
            TrackerServer ts = tc.getConnection();
            if (ts == null) {
                System.out.println("getConnection return null");
                return;
            }
            StorageServer ss = tc.getStoreStorage(ts);
            if (ss == null) {
                System.out.println("getStoreStorage return null");
            }
            StorageClient1 sc1 = new StorageClient1(ts, ss);
            NameValuePair[] meta_list = null; //new NameValuePair[0];
            String item = "C:\\Users\\admin\\Desktop\\1.png";
            String fileid;
            fileid = sc1.upload_file1(item, "png", meta_list);
            System.out.println("Upload local file " + item + " ok, fileid=" + fileid);
        } catch (Exception ex) {
            ex.printStackTrace();
        }
    }

文件查询

@Test
    public void testQueryFile() throws IOException, MyException {
        ClientGlobal.initByProperties("config/fastdfs‐client.properties");
        TrackerClient tracker = new TrackerClient();
        TrackerServer trackerServer = tracker.getConnection();
        StorageServer storageServer = null;
        StorageClient storageClient = new StorageClient(trackerServer,
                storageServer);
        FileInfo fileInfo = storageClient.query_file_info("group1",
                "M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png");
        System.out.println(fileInfo);
    }

文件下载

//下载文件
    @Test
    public void testDownloadFile() throws IOException, MyException {
        ClientGlobal.initByProperties("config/fastdfs‐client.properties");
        TrackerClient tracker = new TrackerClient();
        TrackerServer trackerServer = tracker.getConnection();
        StorageServer storageServer = null;
        StorageClient1 storageClient1 = new StorageClient1(trackerServer,
                storageServer);
        byte[] result =
                storageClient1.download_file1("group1/M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png");
        File file = new File("d:/1.png");
        FileOutputStream fileOutputStream = new FileOutputStream(file);
        fileOutputStream.write(result);
        fileOutputStream.close();
    }

文件服务综合案例

图六.png

在storage server上安装nginx(参考nginx配置fastdfs)

在storage server上安装nginx的目的是对外通过http访问storage server上的文件。

使用nginx的模块FastDFS-nginx-module，它的作用是通过http方式访问storage中的文件，当storage本机没有要找的文件时向源storage主机代理请求文件。

之所以要安装这个nginx的模块是因为，storage提供的下载服务是基于socket，没有http直接访问的。

创建模型

public class FileSystem {
        private String fileId;
        private String filePath;
        private long fileSize;
        private String fileName;
        private String fileType;
        public String getFileId() {
            return fileId;
        }
        public String getFilePath() {
            return filePath;
        }
        public long getFileSize() {
            return fileSize;
        }
        public String getFileName() {
            return fileName;
        }
        public String getFileType() {
            return fileType;
        }
        public void setFileId(String fileId) {
            this.fileId = fileId;
        }
        public void setFilePath(String filePath) {
            this.filePath = filePath;
        }
        public void setFileSize(long fileSize) {
            this.fileSize = fileSize;
        }
        public void setFileName(String fileName) {
            this.fileName = fileName;
        }
        public void setFileType(String fileType) {
            this.fileType = fileType;
        }
    }

创建控制器

@RestController
    @RequestMapping("/fileserver")
    public class FileServerController {
        @Value("${zq‐fastdfs.upload_location}")
        private String upload_location;
        @PostMapping("/upload")
        @ResponseBody
        public FileSystem upload(@RequestParam("file")MultipartFile file){
            FileSystem fileSystem = new FileSystem();
            try {
                ClientGlobal.initByProperties("config/fastdfs‐client.properties");
                3)创建application.yml
                TrackerClient tracker = new TrackerClient();
                TrackerServer trackerServer = tracker.getConnection();
                StorageServer storageServer = null;
                StorageClient1 client = new StorageClient1(trackerServer, storageServer);
//MultipartFile转成File
                String originalFilename = file.getOriginalFilename();//原始文件名
                String extension = originalFilename.substring(originalFilename.lastIndexOf("."));//
                扩展名
                String newFileName = UUID.randomUUID().toString() + extension;
                File f = new File(upload_location + newFileName);
                file.transferTo(f);
                NameValuePair nvp[] = null;
                String local_filename = f.getAbsolutePath();
                //上传到文件系统
                String fileId = client.upload_file1(local_filename, null,
                        nvp);
                //文件在文件系统中的路径
                fileSystem.setFilePath(fileId);
                fileSystem.setFileId(fileId);
                long size = file.getSize();//文件大小
                //文件大小
                fileSystem.setFileSize(size);
                String contentType = file.getContentType();
                //文件类型
                fileSystem.setFileType(contentType);
                //文件名称
                if (fileSystem.getFileName() == null || fileSystem.getFileName().equals("")) {
                //如果没有传入文件名称则存储文件的原始名称
                    fileSystem.setFileName(file.getOriginalFilename());
                }
                //删除web服务器上的文件
                f.deleteOnExit();
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } catch (Exception e) {
                e.printStackTrace();
            }
            return fileSystem;
        }
    }

创建application.yml

server:
    port: 22100
zq‐fastdfs:
    #文件上传临时目录
    upload_location: F:\\develop\\upload\\

fastDFS结合SpringBoot案例

什么是分布式文件系统

技术应用场景

主流的分布式文件系统

分布式文件服务提供商

fastDFS

fastDFS工作原理

fastDFS架构

文件上传流程

文件下载流程

下载和安装

下载

安装

Tracker配置

storage配置

...

启动停止

文件上传下载测试

文件上传

文件查询

文件下载

文件服务综合案例

在storage server上安装nginx(参考nginx配置fastdfs)

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Spring cloud

SpringBoot

数据

精品收藏