Fastdfs分布式文件系统的应用

我们在实际项目中常常遇到这样的应用场景，用户需要上传图片，小视频或者其它文档，这些文件的大小一般在10M以内。它们很多，而且对用户来说可能还很重要，而且可能还要经常被访问，被下载，如何妥善保存这些文件就是一个需要解决的问题。

解决这个问题需要两点：一个是文件冗余备份，保证用户的文件不会丢失，另一个是高可用性，也就是说当文件服务器出现故障的时候，可以立刻让备份服务器为用户提供服务，使用户感觉不到有什么异常。

那么我们不妨分析下有哪几种解决方案：

1.粗放型：
直接作为blob字段存数据库里，利用数据库的容灾备份和HA来保障文件安全。其实这种方案是最安全的，但是显然数据库不是用来做这个的，因为太占数据库空间。不过由于其安全性最高，笔者在之前某个项目中曾经被要求这么干，因为保存的是客户的合同文件。但是类似社交网络的图片文件是没必要这么做的。

2.简约型：
直接存文件系统。如果有多台应用服务器同时提供文件上传服务，那么就准备一台文件服务器，分别挂载到所有应用服务器的指定路径下，实现多台应用服务器的文件写入，同时还可以配置读取静态文件更高效的nginx或者lighttpd来负责文件的读取。这样的好处是配置简单，管理方便（要不怎么叫简约型），不过缺点也很大，就是实现不了高可用性，虽然可以定期对文件服务器进行备份，但是一旦故障，文件会有部分丢失，而且nfs协议对并发写入的支持并不好。这种方案适合低并发，可靠性要求也不高的系统。

3.专业型：
就是采用专业的分布式文件系统了，方案其实蛮多的。

mongodb提供了gridfs模块做文件的分布式存储，不过对于数据库不是采用mongo的，没必要为了文件存储专门上个mongodb

其它还有很多开源的解决方案，比如阿里开源的TFS，还有本文要介绍的Fastdfs。

（呼～～终于切入正题了）关于Fastdfs我就不介绍了，请看这篇简介。

关于部署，网上介绍有一些，但是基本都有问题，建议以这篇为参考如何部署。

但是这篇同样有问题，在启动nginx和fastdfs之前需做如下修改：

1. 编辑/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_trackerd，这两个脚本里所有的路径都多了一层local，请把里面的所有/local删掉

2. 必须在mod_fastdfs.conf文件最后加上一行#include http.conf，好让nginx启动的时候引入这个http.conf文件。

3. 他的nginx配置也有点小问题，用这个吧（笔者是部署在192.168.6.46和192.168.6.47两台服务器上，server_name请自行修改）

server {                 listen 80;              server_name 192.168.6.46;              root /usr/local/nginx/html;               index index.html index.htm;   location / {       if (!-e $request_filename) {          rewrite ^/(.*)$ /index.html last;          }   location /group1/M00 {            root /export/fastdfs/storage/data/;            ngx_fastdfs_module;          }   location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js)$ {    fastcgi_cache_valid 200 10m;        fastcgi_cache_valid 304 3m;        fastcgi_cache_valid 301 302 1h;        fastcgi_cache_valid any 1m;        fastcgi_cache_min_uses 1;        fastcgi_cache_use_stale error timeout invalid_header http_500;        fastcgi_cache_key $host$request_uri;        access_log off;       }