分为三部分
FastDFS分布式文件系统(一) 简介
FastDFS分布式文件系统(二) 安装部署
FastDFS分布式文件系统(三)springboot 上传文件到fastDfs(待续)
简介
FastDFS is an open source high performance distributed file system (DFS). It's major functions include: file storing, file syncing and file accessing, and design for high capacity and load balance.
翻译：FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。
网络扩扑图
image.png
由上图可以看出FastDFS系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)、客户端(Client)。
- Tracker Server: 跟踪服务器，主要做调度工作，启动均衡的作用；负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属group信息，并保持周期性心跳。
- Storage Server：存储服务器，主要提供容量和备份服务;以group为单位，每个group可以有多台storage server，数据互为备份。
- Client: 客户端，上传下载数据的服务器，也就是我们项目部署所在的服务器。
详细介绍
Storage Server: 主要作用是文件存储
- storage做集群时，以组[group]为单位（也可以将一个组看成一个卷[volume]，不同材料称呼不同）。集群的总容量为所有组的总和。
- 一个卷内storage server之间相互通信，文件进行同步，保证组内storage完全一致，所以一个卷的容量以最小的服务器为准。不同的卷之间相互不通信。
- 当某个storage的压力较大时可以添加storage server（纵向扩展），如果系统容量不够可以添加卷（横向扩展）。
Tracker Server:主要作用是负载均衡和调度，管理所有的卷[volume]包括其中的storage server。
- 每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表。
- Tracker的集群中所有的tracker是平等的，客户端请求tracker server采用轮询的方法，如果请求的tracker不能提供服务就换另一个tracker。
工作流程
文件上传流程
image.png
- 选择tracker server：当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。
- 选择存储的group：当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的 group。
支持如下选择group的规则：
(1) Round robin，所有的group间轮询
(2) Specified group，指定某一个确定的group
(3) Load balance，剩余存储空间多多group优先 - 选择storage server：当选定group后，tracker会在group内选择一个storage server给客户端。
支持如下选择storage的规则：
(1) Round robin，在group内的所有storage间轮询
(2) First server ordered by ip，按ip排序
(3) First server ordered by priority，按优先级排序（优先级在storage上配置） - 选择storage path：当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录（安装博客中的图片存储配置的路径是存储目录）
支持如下规则：
(1) Round robin，多个存储目录间轮询
(2) 剩余存储空间最多的优先 - 生成Fileid：选定存储目录之后，storage会为文件生一个Fileid。
规则：
由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串 -
选择两级目录：每个存储目录下有两级256*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。
image.png
- 客户端upload file成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。
文件下载工作流程
image.png
- 选择tracker server：和upload file一样，在download file时随机选择tracker server。
- 选择group：tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，根据group信息选择对应的group
- 选择storage server：从group中选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照一定的规则选择group内可读的storage。
网友评论