FastDFS蛋疼的集群和负载均衡(三)之上传图片测试

diary_report.jpg

Interesting things

由于FastDFS配置太复杂了，所以拆分到这一篇继续讲解。

---

What to do tomorrow

• tracker和storage集群搭建完毕，FastDFS集群还未搭建完毕。

• 我们先不急着去搭建FastDFS，先在tracker1使用client完成上传图片测试。

• 进入/etc/fdfs，拷贝一份client.conf.sample，并且重命名为client.conf

  
  image.png

• 修改client.conf， vim client.conf
  将base_path修改成/fastdfs/tracker,
  tracker_server=192.168.12.11:22122,
  tracker_server=192.168.12.22:22122

  
  image.png
  image.png

• 接下来我们在/usr/local创建一个img文件夹。mkdir img

  
  image.png

• 在img添加一个自己喜欢的图片，我添加的是mayday.jpg.

  
  mayday.jpg

• 上传文件命令:/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/img/mayday.jpg
  /usr/bin/fdfs_upload_file表示上传文件操作
  /etc/fdfs/client.conf表示上传文件时所采用的配置文件
  /usr/local/img/mayday.jpg表示上传文件具体的路径。
  我们可以看到返回了"group2/M00/00/00/wKgMN1pDYfeAdEyCAADRd6mMX3g517.jpg"。group2表示上传的这张照片被保存在group2.这说明group2有我们之前上传的图片，而group1没有。M00代表磁盘目录。00/00代表磁盘上的两级目录，每级目录下是从00-FF一共是1616(256)个文件，两级就是256256个。
  

  image.png

• 在192.168.12.33(group1)查找刚才上传的图片，没找到。

  
  image.png

• 在192.168.12.44(group1)查找刚才上传的图片，没找到。

  
  image.png

• 在192.168.12.55(group2)查看刚才上传的图片，找到了。

  
  image.png

• 在192.168.12.66(group2)查找刚才上传的图片，找到了。

  
  image.png

• 还记得我们在配置tracker.conf时store_lookup=0, store_group=group2吗？
  store_lookup=0代表我们选择组上传文件的方法是轮询。

image.png

• 我们之前的配置是轮询策略，我们再上传一次文件，图片肯定会上传到group1，毋庸置疑。美滋滋啊！

  
  image.png

• 我们上传文件图片存储的位置是一次group1,一次group2，轮询进行存储的。

• 如果处于同一组的A设备发生了故障，那么这时上传的文件只能存放到其他同组的设备。当A设备故障修复后，同组的其他设备会自动将数据同步到A设备上。岂不是美滋滋？

• 我们还需要配置Nginx，达到http方式来上传或者下载文件。

• 我们需要在group1和group2上把fastdfs-nginx-module_v1.16.tar.gz到/usr/local/fast。命令：tar zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/fast

  
  image.png

• 我们进入/usr/local/fast/fastdfs-nginx-module/src，找到config.

  
  image.png

• 我们要把第四行的
  /usr/local/include/fastdfs修改成/usr/include/fastdfs
  /usr/local/include/fastcommon修改成
  /usr/include/fastcommon

image.png
image.png

• 因为我们在安装./make.sh install FastDFS的时候，安装在/usr/include/fastdfs了。fastcommon同理。

  
  image.png

• 安装nginx依赖包 yum install pcre、yum install prce-devel、yum install zlib、yum install zlib-devel

• 把nginx安装包解压到/usr/local/
  命令:tar -zxvf nginx-1.6.2.tar.gz -C /usr/local/nginx，会自动在/usr/local/下创建nginx-1.6.2文件夹。

  
  image.png

• 进入/usr/local/nginx-1.6.2下，输入 ./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src，添加fastdfs-nginx-module/src模块并且进行检查。

  
  image.png

• 使用make && make install进行编译安装，安装成功后/usr/local/目录下会出现nginx文件夹。

  
  image.png
  image.png

• 进入/usr/local/fast/fastdfs-nginx-module/目录下，找到mod_fastdfs.conf，然后复制一份到/etc/fdfs/目录下，命令:cp mod_fastdfs.conf /etc/fdfs/

  
  image.png

• 进入/etc/fdfs/目录下，修改mod_fastdfs.conf

• 修改为connect_timeout=10

  
  image.png

• 修改为tracker_server=192.168.12.11:22122
  tracker_server=192.168.12.22:22122

  
  image.png

• 修改为url_have_group_name=true

  
  image.png

• 修改为store_path0=/fastdfs/storage

  
  image.png

• 如果storage所在的组为group1，group_name就不用修改，默认的是group1，否则把group_name修改成storage相对应的组。

  
  image.png

• 有几个group，group_count就设置几个，我这里有2个group，那么group_count=2

  
  image.png

• 接下来就要设置group1,group2的信息，如图所示。

  
  image.png

• 添加如下内容:

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group1]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage

image.png

• 把修改后的mod_fastdfs.conf复制给192.168.12.44、192.168.12.55、192.168.12.66. 属于group2的storage要把group_name修改为group2.

  
  image.png

• 进入到/usr/local/fast/FastDFS/conf下找到http.conf和mime.types,然后把他们2个拷贝一份到/etc/fdfs/目录下。

  
  image.png
  image.png

• 然后进入/etc/fdfs/目录下，把新鲜出炉的http,conf和mime.types给192.168.12.44、192.168.12.55、192.168.12.66拷贝一份到/etc/fdfs/

  
  image.png

• 我们需要创建软链接，ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

  
  image.png

• 还记得我们之前在stroage.conf里面http.server_port=8888吗？

image.png

• 接着我们到/usr/local/nginx/conf/目录下,vim nginx.conf修改该文件。将server的listen端口设置为8888

  
  image.png
  image.png

• 我们也要把location替换成如下:

location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}

image.png
image.png

• 接着老操作，把更改后的nginx.conf拷贝到192.168.12.44、192.168.12.55、192.168.12.66的/usr/local/nginx/conf/目录下。

  
  image.png

• group1和group2下的storage都启动nginx。输入/usr/local/nginx/sbin/nginx

192.168.12.33(group1)

image.png

192.168.12.44(group1)

image.png

192.168.12.55(group2)

image.png

192.168.12.66(group2)

image.png

• 我们还要给group1和group2的iptables配置端口8888
  vim /etc/sysconfig/iptables
  在iptables添加
  -A INPUT -p tcp -m state --state NEW -m tcp --dport 8888 -j ACCEPT

  
  image.png
  image.png

• 然后重启防火墙和启动策略。
  service iptables restart
  service iptables save

  
  image.png

• 我们在tracker1(192.168.12.11)上传图片。命令:/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/img/mayday.jpg

  
  image.png

• 由于返回的图片存储在group2，所以我们可以在浏览器输入http://192.168.12.66:8888/group2/M00/00/00/wKgMQlpDipaABM7qAADRd6mMX3g416.jpg去访问它，很遗憾访问失败了。
  

  image.png

---

What to do tomorrow

• 继续配置FastDFS的负载均衡和集群。还需要一篇博客讲解完。

• 解决输入http://192.168.12.66:8888/group2/M00/00/00/wKgMQlpDipaABM7qAADRd6mMX3g416.jpg无响应，输出不了图片的问题。

---

Summary

初步排查，应该是Nginx问题。