FastDFS

简介

FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

原理

架构

image.png

Storage server

Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在 storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。

Upload file

FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。

image.png

选择tracker server

当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。

选择存储的group

当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则：

Round robin，所有的group间轮询
Specified group，指定某一个确定的group
Load balance，剩余存储空间多多group优先

选择storage server

当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则：

Round robin，在group内的所有storage间轮询
First server ordered by ip，按ip排序
First server ordered by priority，按优先级排序（优先级在storage上配置）

选择storage path

当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则：

Round robin，多个存储目录间轮询
剩余存储空间最多的优先

生成Fileid

选定存储目录之后，storage会为文件生一个Fileid，由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。

选择两级目录

当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。

生成文件名

当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。

image.png

文件同步

写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证 集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。

Download file

客户端upload file成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。

image.png

跟upload file一样，在download file时客户端可以选择任意tracker server。 tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时 间等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同 步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照如下规则选择group内可读的storage：

该文件上传到的源头storage - 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中
文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) - 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了
文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了
(当前时间-文件创建时间戳) > 同步延迟阀值（如一天）。 - 经过同步延迟阈值时间，认为文件肯定已经同步了

小文件合并存储

将小文件合并存储主要解决如下几个问题：

本地文件系统inode数量有限，从而存储的小文件数量也就受到限制。
多级目录+目录里很多文件，导致访问文件的开销很大（可能导致很多次IO）
按小文件存储，备份与恢复的效率低
FastDFS在V3.0版本里 引入小文件合并存储的机制，可将多个小文件存储到一个大的文件（trunk file），为了支持这个机制，FastDFS生成的文件fileid需要额外增加16个字节：

trunk file id
文件在trunk file内部的offset
文件占用的存储空间大小 （字节对齐及删除空间复用，文件占用存储空间>=文件大小）
每个trunk file由一个id唯一标识，trunk file由group内的trunk server负责创建（trunk server是tracker选出来的），并同步到group内其他的storage，文件存储合并存储到trunk file后，根据其offset就能从trunk file读取到文件。

文件在trunk file内的offset编码到文件名，决定了其在trunk file内的位置是不能更改的，也就不能通过compact的方式回收trunk file内删除文件的空间。但当trunk file内有文件删除时，其删除的空间是可以被复用的，比如一个100KB的文件被删除，接下来存储一个99KB的文件就可以直接复用这片删除的存储空间。

HTTP访问支持

FastDFS的tracker和storage都内置了http协议的支持，客户端可以通过http协议来下载文件，tracker在接收到请求 时，通过http的redirect机制将请求重定向至文件所在的storage上；除了内置的http协议外，FastDFS还提供了通过 apache或nginx扩展模块下载文件的支持。

image.png

其他特性

FastDFS提供了设置/获取文件扩展属性的接口（setmeta/getmeta)，扩展属性以key-value对的方式存储在 storage上的同名文件（拥有特殊的前缀或后缀），比如/group/M00/00/01/some_file为原始文件，则该文件的扩展属性存储在/group/M00/00/01/.some_file.meta文件（真实情况不一定是这样，但机制类似），这样根据文件名就能定位到存储扩展属性的文件。 以上两个接口作者不建议使用，额外的meta文件会进一步“放大”海量小文件存储问题，同时由于meta非常小，其存储空间利用率也不高，比如100bytes的meta文件也需要占用4K（block_size）的存储空间。 FastDFS还提供appender file的支持，通过upload_appender_file接口存储，appender file允许在创建后，对该文件进行append操作。实际上，appender file与普通文件的存储方式是相同的，不同的是，appender file不能被合并存储到trunk file。

问题讨论

从FastDFS的整个设计看，基本上都已简单为原则。比如以机器为单位备份数据，简化了tracker的管理工作；storage直接借助本地文 件系统原样存储文件，简化了storage的管理工作；文件写单份到storage即为成功、然后后台同步，简化了写文件流程。但简单的方案能解决的问题通常也有限，FastDFS目前尚存在如下问题（欢迎探讨）：

数据安全性

1.写一份即成功：从源storage写完文件至同步到组内其他storage的时间窗口内，一旦源storage出现故障，就可能导致用户数据丢失，而数据的丢失对存储系统来说通常是不可接受的。
2.缺乏自动化恢复机制：当storage的某块磁盘故障时，只能换存磁盘，然后手动恢复数据；由于按机器备份，似乎也不可能有自动化恢复机制，除非有预先准备好的热备磁盘，缺乏自动化恢复机制会增加系统运维工作。
数据恢复效率低：恢复数据时，只能从group内其他的storage读取，同时由于小文件的访问效率本身较低，按文件恢复的效率也会很低，低的恢复效率也就意味着数据处于不安全状态的时间更长。
3.缺乏多机房容灾支持：目前要做多机房容灾，只能额外做工具来将数据同步到备份的集群，无自动化机制。

存储空间利用率

单机存储的文件数受限于inode数量
每个文件对应一个storage本地文件系统的文件，平均每个文件会存在block_size/2的存储空间浪费。
文件合并存储能有效解决上述两个问题，但由于合并存储没有空间回收机制，删除文件的空间不保证一定能复用，也存在空间浪费的问题

负载均衡

group机制本身可用来做负载均衡，但这只是一种静态的负载均衡机制，需要预先知道应用的访问特性；同时group机制也导致不可能在group之间迁移数据来做动态负载均衡。

部署

安装

由于fastDFS是个小型开源项目，目前只在SourceForge上托管了代码，并没有特别针对Linux发行版所编译的二进制软件包。所以想要使用FastDFS只能从源码开始进行编译安装。

软件包下载地址（如果资讯组开发已经发给你了固定版本的fastDFS安装包，那就不需要下载了）：

sourceforge.net/projects/fastdfs/files/?source=navbar

image.png
image.png
image.png

配置

基本配置

disable

#func：配置是否生效
#valu：true、false
disable=false

bind_addr

#func：绑定IP
#valu：IP地址
bind_addr=192.168.6.102

port

#func：服务端口
#valu：端口整数值
port=22122

connect_timeout

#func：连接超时
#valu：秒单位正整数值
connect_timeout=30

network_timeout

#func：网络超时
#valu：秒单位正整数值
network_timeout=60

base_path

#func：Tracker数据/日志目录地址
#valu：路径
base_path=/home/michael/fdfs/base4tracker

max_connections

#func：最大连接数
#valu：正整数值
max_connections=256

work_threads

#func：线程数，通常设置CPU数
#valu：正整数值
work_threads=4

store_lookup

#func：上传文件的选组方式。
#valu：0、1或2。
# 0：表示轮询
# 1：表示指定组
# 2：表示存储负载均衡（选择剩余空间最大的组）
store_lookup=2

store_group

#func：指定上传的组，如果在应用层指定了具体的组，那么这个参数将不会起效。另外如果store_lookup如果是0或2，则此参数无效。
#valu：group1等
store_group=group1

store_server

#func：上传服务器的选择方式。(一个文件被上传后，这个storage server就相当于这个文件的storage server源，会对同组的storage server推送这个文件达到同步效果)
#valu：0、1或2
# 0: 轮询方式（默认）
# 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
# 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority），优先级值越小优先级越高。
store_server=0

store_path

#func：上传路径的选择方式。storage server可以有多个存放文件的base path（可以理解为多个磁盘）。
#valu：
# 0: 轮流方式，多个目录依次存放文件
# 2: 存储负载均衡。选择剩余空间最大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变化的）
store_path=0

download_server

#func：下载服务器的选择方式。
#valu：
# 0：轮询（默认）
# 1：IP最小者
# 2：优先级排序（值最小的，优先级最高。）
download_server=0

reserved_storage_space

#func：保留空间值。如果某个组中的某个服务器的剩余自由空间小于设定值，则文件不会被上传到这个组。
#valu：
# G or g for gigabyte
# M or m for megabyte
# K or k for kilobyte
reserved_storage_space=1GB

log_level

#func：日志级别
#valu：
# emerg for emergency
# alert
# crit for critical
# error
# warn for warning
# notice
# info for information
# debug for debugging
log_level=info

run_by_group / run_by_user

#func：指定运行该程序的用户组
#valu：用户组名或空
run_by_group=

#func：
#valu：
run_by_user=

allow_hosts

#func：可以连接到tracker server的ip范围。可设定多个值。
#valu
allow_hosts=

check_active_interval

#func：检测 storage server 存活的时间隔，单位为秒。
#      storage server定期向tracker server 发心跳，
#      如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳，
#      那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。
#      通常配置为storage server心跳时间间隔的2倍或3倍。
check_active_interval=120

thread_stack_size

#func：设定线程栈的大小。 线程栈越大，一个线程占用的系统资源就越多。
#      如果要启动更多的线程（V1.x对应的参数为max_connections，V2.0为work_threads），可以适当降低本参数值。
#valu：如64KB，默认值为64，tracker server线程栈不应小于64KB
thread_stack_size=64KB

storage_ip_changed_auto_adjust

#func：这个参数控制当storage server IP地址改变时，集群是否自动调整。注：只有在storage server进程重启时才完成自动调整。
#valu：true或false
storage_ip_changed_auto_adjust=true

同步

storage_sync_file_max_delay

#func：同组storage服务器之间同步的最大延迟时间。存储服务器之间同步文件的最大延迟时间，根据实际情况进行调整
#valu：秒为单位，默认值为1天（24*3600）
#sinc：v2.0
storage_sync_file_max_delay=86400

storage_sync_file_max_time

#func：存储服务器同步一个文件需要消耗的最大时间，缺省为300s，即5分钟。
#sinc：v2.0
storage_sync_file_max_time=300

sync_log_buff_interval

#func：同步或刷新日志信息到硬盘的时间间隔。注意：tracker server 的日志不是时时写硬盘的，而是先写内存。
#valu：以秒为单位
sync_log_buff_interval=10

trunk 和 slot

#func：是否使用trunk文件来存储几个小文件
#valu：true或false
#sinc：v3.0
use_trunk_file=false

#func：最小slot大小
#valu：<= 4KB，默认为256字节
#sinc：v3.0
slot_min_size=256

#func：最大slot大小
#valu：>= slot_min_size，当小于这个值的时候就存储到trunk file中。默认为16MB。
#sinc：v3.0
slot_max_size=16MB

#func：trunk file的size
#valu：>= 4MB，默认为64MB
#sinc：v3.0
trunk_file_size=64MB

HTTP 相关

是否启用 HTTP

#func：HTTP是否生效
#valu：true或false
http.disabled=false

HTTP 服务器端口号

#func：tracker server上的http port
#valu：
#note：只有http.disabled=false时才生效
http.server_port=7271

检查Storage存活状态的间隔时间（心跳检测）

#func：检查storage http server存活的间隔时间
#valu：单位为秒
#note：只有http.disabled=false时才生效
http.check_alive_interval=30

心跳检测使用的协议方式

#func：检查storage http server存活的方式
#valu：
# tcp：连接到storage server的http端口，不进行request和response。
# http：storage check alive url must return http status 200.
#note：只有http.disabled=false时才生效
http.check_alive_type=tcp

检查 Storage 状态的 URI

#func：检查storage http server是否alive的uri/url
#note：只有http.disabled=false时才生效
http.check_alive_uri=/status.html

need_find_content_type

#func：if need find content type form file extension name
#note：只有http.disabled=false时才生效
http.need_find_content_type=true

HTTP 配置文件

#func：”#include http.conf“表示redirect to include other settings
#include http.conf

Storage.conf

基本配置

disabled

#func：该配置文件是否生效
#valu：
## true：无效
## false：生效
disabled=false

group_name

#func；本storage server所属组名
group_name=group1

bind_addr

#func：绑定本storage server的IP
bind_addr=

client_bind

#func：bind_addr是针对server的，当指定bind_addr时，本参数才有效。
#valu：
## true：绑定bind_addr所指定的IP
## false：绑定本机的任意IP
client_bind=true

port

#func：storage server端口
port=23000

connect_timeout

#func：连接超时
connect_timeout=30

network_timeout

#func：网络超时
network_timeout=60

heart_beat_interval

#func：本storage向tracker发送心跳时间间隔
heart_beat_interval=30

stat_report_interval

#func：硬盘存储空间使用情况检测时间间隔
stat_report_interval=60

base_path

#func：base_path
base_path=/home/michael/fdfs/base4storage

max_connections

#func：本storage server支持的最大并发连接数
max_connections=256

buff_size

#func：buff size to recv/send data
buff_size=256KB

work_thread

#func：work thread count, should <= max_connections
#valu：默认为4
#sinc：v2.0
work_thread=4

store_path_count / store_path

#func：storage path的个数
#valu：默认为1
store_path_count=1

#func：根据store_path_count的值，如果是N个，就要有store_path0, store_path1 ... store_path(N-1)
#valu：
store_path0=/home/michael/fdfs/storage0

subdir_count_per_path

#func：FastDFS存储文件时，默认采用了两级目录。这里配置存放文件的目录个数
subdir_count_per_path=32

tracker_server

#func：tracker_server 的列表 要写端口号
tracker_server=192.168.6.188:22122
tracker_server=192.168.6.189:22122
tracker_server=192.168.6.190:22122

log_level

#func：
log_level=info

run_by_group/run_by_user

#func：
run_by_group

#func
run_by_user

allow_hosts

#func：允许连接的客户端IP列表
allow_hosts=*

file_distribute_path_mode

#func：文件分布到data path的方式
#valu：
## 0：轮询
## 1：随机，根据哈希code
file_distribute_path_mode=0

file_distribute_rotate_count

#func：当file_distribute_path_mode设置为0（轮询）时，该值才有效。功能是，当写文件计数打到该值时，转至下一个path。
file_distribute_rotate_count=100

thread_stack_size

#func：线程栈大小
#valu：要求至少512KB
thread_stack_size=512KB

upload_priority

#func：上传优先级。只有tracker.conf中store_server=2时，才有效。
#valu：值约小，优先级越高。默认为10.
upload_priority=10

if_alias_prefix

#func：
#valu：
if_alias_prefix=

check_file_duplicate

#func：是否检查file重复。但为1时，使用FastDHT存储文件索引
#valu：默认为0
## 1, yes, true or on：check
## 0, no, false or off：不check
check_file_duplicate=0

key_namespace

#func：当上个参数设定为1或yes时(true/on也是可以的)，在FastDHT中的命名空间
key_namespace=FastDFS

keep_alive

#func：与FastDHT的连接方式
#valu：默认为0，短连接
## 0：短连接（short connection）
## 1：长连接（persistent connection）
keep_alive=0

IO

disk_rw_separated

#func：是否I/O分离
#valu：默认为true
## true：分离
## false：不分离
disk_rw_separated=true

disk_rw_direct

#func：是否直接写，不使用cache
#value：
## true：直接写
## false：不直接写
disk_rw_direct=false

disk_reader_threads

#func：每个storage base path的读线程数。对于disk_rw_separated=true的方式该值为0.
#valu：默认为1
disk_reader_threads=1

disk_writer_threads

#func：每个storage base path的写线程数。对于disk_rw_separated=true的方式该值为0.
#valu：默认为1
disk_writer_threads=1

同步

sync_wait_msec

#func：同步文件时，如果从binlog中没有读到要同步的文件，休眠N毫秒后重新读取。
#valu：单位为毫秒。0表示不休眠，立即再次尝试读取。
sync_wait_msec=50

sync_interval

#func：同步一个文件后，在下次进行同步前的休息时间
#valu：单位为毫秒
sync_interval=0

sync_start_time

#func：每天存储同步的开始时间。
#valu：HH:mm
sync_start_time=00:00

sync_end_time

#func：每天存储同步的结束时间。
#valu：HH:mm
sync_end_time=23:59

write_mark_file_freq

#func：把storage的mark文件定期同步到磁盘的时间间隔
#valu：单位为秒
write_mark_file_freq=500

fsync_after_written_bytes

#func：当写大文件时，每写入N个字节，调用一次系统函数fsync将内容强行同步到硬盘。
#valu：0表示从不调用fsync
fsync_after_written_bytes=0

sync_log_buff_interval

#func：同步或刷新日志信息到硬盘的时间间隔
#valu：单位为秒
sync_log_buff_interval=10

sync_binlog_buff_interval

#func：同步binlog（更新操作日志）到硬盘的时间间隔
#valu：单位为秒
sync_binlog_buff_interval=60

sync_stat_file_interval

#func：把storage的stat文件同步到磁盘的时间间隔
#valu：单位为秒
sync_stat_file_interval=300

HTTP 相关

是否启用 HTTP

#func：是否开启HTTP
http.disabled

domain

#func：如果将该项留空，则使用IP，否则可以通过tracker来redirect。
http.domain_name=

server port

#func：HTTP端口号
http.server_port

trunk size

#func：trunk file size
http.trunk_size=256KB

否需要从文件扩展名确定文件内容

#func：是否需要从文件扩展名确定文件内容
http.need_find_content_type=true