FastDfs 分布式文件系统搭建

1、fastdfs 服务环境安装搭建步骤

1.1、安装编译环境

安装git 
yum -y install git
安装编译相关依赖包
yum  -y install  gcc gcc-c++ make automake libevent pcre* zlib

1.2、下载 libfastcommon 源码包并编译

下载源码
git clone https://github.com/happyfish100/libfastcommon.git
切换到分支v10.43
cd libfastcommon; git checkout V1.0.43
编译
./make.sh clean && ./make.sh && ./make.sh install

1.3、 下载fastdfs 源码包

下载源码
git clone https://github.com/happyfish100/fastdfs.git
切换到分支v10.43
cd fastdfs; git checkout V6.06
编译
./make.sh clean && ./make.sh && ./make.sh install

1.4、 设置配置文件

./setup.sh /etc/fdfs

1.5、 编辑修改 tracker storage client 配置文件

 vim /etc/fdfs/tracker.conf

 vim /etc/fdfs/storage.conf

 vim /etc/fdfs/client.conf

1.6、启动服务

启动tracker 服务
service fdfs_trackerd start

启动storage 服务
service fdfs_storaged start

启动 monitor  服务
/usr/bin/fdfs_monitor  /etc/fdfs/client.conf

1.7、运行测试程序

usr/bin/fdfs_test <client_conf_filename> <operation>
例如
/usr/bin/fdfs_test /etc/fdfs/client.conf upload  /opt/Capture001.png 

2、nginx 安装及添加 fastdfs lua 等模块

2.1、安装nginx

下载nginx 源码包
wget http://nginx.org/download/nginx-1.15.6.tar.gz 
解压
tar -zxvf nginx-1.15.6.tar.gz 

2.2 下载 fastdfs-nginx-module 模块源码包

#下载源码包
git clone https://github.com/happyfish100/fastdfs-nginx-module.git

#修改配置
cd fastdfs-nginx-module-1.20/src 
vim config
#修改第5 行 和 15 行 修改成
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

#复制配置
cp mod_fastdfs.conf /etc/fdfs/
#修改配置 mod_fastdfs.conf

vim /etc/fdfs/mod_fastdfs.conf 
#需要修改的内容如下 
tracker_server=192.168.1.102:22122 
url_have_group_name=true 
store_path0=/root/fastdfs

2.3 添加fastdfs-nginx-module 模块

安装依赖包
yum -y install pcre-devel openssl openssl-devel
添加模块 fastdfs-nginx-module
./configure --add-module=/opt/usr/local/fastdfs-nginx-module/src

2.4 编译安装

编译安装
make && make install
查看模块是否安装上
/usr/local/nginx/sbin/nginx -V

2.5 修改nginx 配置

#修改/usr/local/nginx/conf/nginx.conf

#添加如下配置 
server {
 listen 8888; 
 server_name localhost; 
 location ~/group[0-9]/ {
    ngx_fastdfs_module; 
   } 
}

2.6 启动nginx 服务

/usr/local/nginx/sbin/nginx

3、 搭建fastdfs 集群 搭建细节

3.1 traker 集群搭建配置

# 修改tracker.conf 文件
vim /etc/fdfs/tracker.conf
#修改存储路径
base_path=/data/fastdfs
# 设置查找storage 节点为轮训的方式，（0是轮询，1是指定组,2是剩余存储空间多的group优先）
store_lookup=0

3.2 storage 集群搭建配置

#修改base_path 路径修改
base_path=/data/fastdfs
#修改storage_path0 路径
store_path0 = /data/fastdfs
# 查看group_name
group_name = group1
# tracker_server 集群节点配置
tracker_server = 192.168.1.107:22122
tracker_server = 192.168.1.110:22122
tracker_server = 192.168.1.102:22122

3.3 其他服务节点遵循上文配置

3.4 修改mod_fastdfs.conf 配置文件

# 存储日志文件目录
base_path=/data/fastdfs
# 存储数据目录 storage_path
store_path0=/data/fastdfs
# 请求路径中携带组名称
url_have_group_name = true

3.5 启动每个节点的 tracker 和 storage 服务

启动tracker 服务
service fdfs_trackerd start

启动storage 服务
service fdfs_storaged start

启动 monitor  服务
/usr/bin/fdfs_monitor  /etc/fdfs/client.conf

3.6 启动nginx 服务

/usr/local/nginx/sbin/nginx 

4 、 GraphicsMagick 安装及使用

4.1 下载安装 GraphicsMagick

# 下载 epel rpm 包
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-12.noarch.rpm
# 安装
rpm -ivh epel-release-7-12.noarch.rpm 

# yum 安装 GraphicsMagick 和依赖包
yum install -y gcc gcc-c++ zlib zlib-devel openssl openssl-devel pcre pcre-devel
yum install -y libpng libjpeg libpng-devel libjpeg-devel ghostscript libtiff libtiff-devel freetype freetype-devel
yum install -y GraphicsMagick GraphicsMagick-devel

4.2 下载安装LuaJIT

#下载LuaJIT 源码包
wget http://luajit.org/download/LuaJIT-2.0.4.tar.gz
#解压并安装
tar -zxf LuaJIT-2.0.4.tar.gz
#安装并配置环境变量
cd LuaJIT-2.0.4
make -j8
make install 
export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.0
ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

4.3 下载 lua-nginx-module 和 ngx_devel_kit-master 模块

#下载
wget https://codeload.github.com/openresty/lua-nginx-module/tar.gz/v0.10.14
#解压
tar -zxvf  lua-nginx-module-0.10.14
# git clone 
git clone https://github.com/simpl/ngx_devel_kit.git


# 所有模块都放在 nginx-module 中

4.4 重新编译安装 nginx

./configure --with-http_ssl_module --with-http_sub_module --with-http_stub_status_module --add-module=../nginx-module/fastdfs-nginx-module/src  --add-module=../nginx-module/lua-nginx-module-0.10.14/  --add-module=../nginx-module/ngx_devel_kit-master

make -j8
make install

4.5 下载lua 脚本代码

# 下载nginx-lua-GraphicsMagick
wget https://codeload.github.com/yanue/nginx-lua-GraphicsMagick/zip/master
# 将 lua 目录移动到 /opt/usr/local/ 下
mv lua/ /user/local/nginx/

4.6 修改nginx.conf 加入以下配置

        set $img_thumbnail_root /data/fastdfs/thumb; 
        set $img_file $img_thumbnail_root$uri;  

        # like：/pic/M00/xx/xx/xx.jpg_200x100.jpg
       
        location ~* ^(\/(\w+)(\/M00)(.+\.(jpg|jpeg|gif|png))_(\d+)+x(\d+)+\.(jpg|jpeg|gif|png))$ {
                root $img_thumbnail_root;    
                set $fdfs_group_root /data/fastdfs/data; 

                # 如果缩略图不存在
                if (!-f $img_file) {   
                        add_header X-Powered-By 'Nginx+Lua+GraphicsMagick By xxx';  
                        add_header file-path $request_filename;

                        set $request_filepath $fdfs_group_root$4;    
                        set $img_width $6;    
                        set $img_height $7;    
                        set $img_ext $5;     
                        content_by_lua_file /usr/local/nginx/lua/cropSize.lua;   
                }
        }

        location ~/group[0-9]/ {
                alias /data/fastdfs/data;
                ngx_fastdfs_module;
        }

4.7 重载 nginx

/usr/local/nginx/sbin/nginx  -s reload

4.8 测试上传与访问缩略图效果

/usr/bin/fdfs_test /etc/fdfs/client.conf upload  /opt/pubu.jpg 

1594446134179.png

http://192.168.1.102/group1/M00/00/00/wKgBa18H3m-AKXlNAAGg25aTZQw692.jpg_1000x1400.jpg

1594446272258.png