分布式文件系统介绍分布式文件系统GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文
分布式文件系统介绍
分布式文件系统
GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
?
Google学术论文有 ：
Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable（大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。
做个中文版下载源：
http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126
?
做个原版地址链接：
http://labs.google.com/papers/gfs.html
http://labs.google.com/papers/bigtable.html
http://labs.google.com/papers/mapreduce.html
?
本地下载 ：? Google_三大论文中文版.pdf
?
GFS（Google File System）--------------------------------------Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。下面分布式文件系统都是类 GFS的产品。
HDFS--------------------------------------
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。
Ceph---------------------------------------是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。?
MogileFS---------------------------------------由memcahed的开发公司danga一款perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。MogileFS由3个部分组成： 第1个部分是server端，包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker，它将一些全局信息保存在数据库里，例如站点domain,class,host等。后者即是存储节点(store node)，它其实是个HTTP Daemon，默认侦听在7500端口，接受客户端的文件备份请求。在安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。 第2个部分是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。 第3个部分是客户端API，目前只有Perl API(MogileFS.pm)、PHP，用这个模块可以编写客户端程序，实现文件的备份管理功能。?Lustre---------------------------------------Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。目前Lustre已经运用在一些领域，例如HP SFS产品等。?FastDFS---------------------------------------是一款类似Google FS的开源分布式文件系统，是纯C语言开发的。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
官方论坛http://bbs.chinaunix.net/forum-240-1.html?FastDfs google Codehttp://code.google.com/p/fastdfs/?分布式文件系统FastDFS架构剖析http://www.programmer.com.cn/4380/?FastDFS FAQ （很好）http://bbs.chinaunix.net/thread-1920470-1-1.html
提升磁盘IO性能的几个技巧http://bbs.chinaunix.net/thread-2312248-1-13.html
关于使用FastDFS做图片及其缩略图存储 (主从文件)http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3771347?FastDFS、nginx配置手记http://blog.sina.com.cn/s/blog_704836f40100yp7p.html
FastDFS整合Nginxhttp://lection-yu.iteye.com/blog/1536870
lighttpd + fastdfs + imagemagick实现的图片缩放图的分布式存储http://blog.csdn.net/saint1126/article/details/6317012
FastDFS v1.29和V2.0对比测试结果?http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1924272
FastDFS介绍和配置过程?http://ylw6006.blog.51cto.com/470441/948729
FastDFS性能测试http://tt1981.iteye.com/blog/1612418
FastDFS和MogileFS的对比?http://blog.csdn.net/wishfly/article/details/6940504
TFS-------------------------------------TFS（Taobao !FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。官网 ： http://code.taobao.org/p/tfs/wiki/index/
GridFS文件系统-------------------------------------
MongoDB是一种知名的NoSql数据库，GridFS是MongoDB的一个内置功能，它提供一组文件操作的API以利用MongoDB存储文件，GridFS的基本原理是将文件保存在两个Collection中，一个保存文件索引，一个保存文件内容，文件内容按一定大小分成若干块，每一块存在一个Document中，这种方法不仅提供了文件存储，还提供了对文件相关的一些附加属性（比如MD5值，文件名等等）的存储。文件在GridFS中会按4MB为单位进行分块存储。
MongoDB GridFS 数据读取效率 benchmark
http://blog.nosqlfan.com/html/730.html
