FastDFS教程

分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。

分布式文件系统与传统文件系统对比

传统方式弊端

● 如果用户数量多，IO操作比较多，对磁盘访问压力很大

● 如果磁盘发生故障，会造成数据丢失

● 存储容量有限

FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。

FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载、文件删除)等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。

FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS发展历史

2008年4月项目启动，7月发布第一个版本V1.00，两年时间内持续升级到V1.29

2010年8月推出V2.00

2011年6月推出V3.00

2012年10月推出V4.0.0

2013年12月推出V5.0.0

截止目前最新版是V5.11(2017年6月发布)

FastDFS系统架构从第一个版本发布后一直没有大的调整，高版本完全兼容低版本的数据，可以做到平滑升级，推荐更新升级到最新版本

FastDFS代码托管在github上：https://github.com/happyfish100/fastdfs

FastDFS整体架构

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端

客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。

服务端由两个部分构成：一个是跟踪器(tracker)，一个是存储节点(storage)

跟踪器(tracker)主要做调度工作，在内存中记录集群中存储节点storage的状态信息，是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群(比如上百个group)中有3台就足够了。

存储节点(storage)用于存储文件，包括文件和文件属性(meta data)都保存到存储服务器磁盘上，完成文件管理的所有功能：文件存储、文件同步和提供文件访问等。

FastDFS线上使用者

UC (http://www.uc.cn/ ，存储容量超过10TB)

支付宝(http://www.alipay.com/)

京东商城(http://www.jd.com/)

淘淘搜(http://www.taotaosou.com/)

飞信(http://feixin.10086.cn/)

赶集网(http://www.ganji.com/)

淘米网(http://www.61.com/)

迅雷(http://www.xunlei.com/)

蚂蜂窝(http://www.mafengwo.cn/)

5173(http://www.5173.com/)

华师京城教育云平台(http://www.hsjdy.com.cn/)

视友网(http://www.cuctv.com/)

搜道网(http://www.sodao.com/)

58同城(http://www.58.com/)

商务联盟网(http://www.biz72.com/)

中青网(http://www.youth.cn/)

保利威视(http://www.freeovp.com/)

梦芭莎(http://www.moonbasa.com/)

51CTO(http://www.51cto.com/)

搜房网(http://www.soufun.com/)