哥妞 海淀山后有哥妞

找到一个适合的分布式文件系统之各种分布式文件系统优缺点对比

2017-05-19

开源的分布式文件/对象系统比较有名的包括Lustre(HPC)GlusterFS(NAS NFS)、HDFS(hadoop)、ceph(虚机块存储)、swift(restful对象存储),各有不同的领域。

技术 优点 缺点 总结
1、HDFS 1、大数据批量读写,吞吐量高;2、一次写入,多次读取,顺序读写; 1、交互式应用,低延迟很难满足;2、不支持多用户并发写相同文件 如果是很多小文件,nameNode压力大
2、googleFs 1、成本低,运行在廉价的普通硬件上 1、不开源 不开源,使用困难
3、Tfs 开源 1、小于1M的文件 2、TFS内部是没有任何数据的内存缓冲的 适合单个文件比较小的系统
4、Lustre 1、 开源; 2、 支持POSIX; 3、 文件被分割成若干的Chunk,每个chunk是一般为1MB-4MB    
5、Ceph 1、支持POSIX; 2、开源   1、 在Linux主流内核中找到ceph;2、不成熟,处于测试推广阶段
6、MogileFs 开源   比FastDFS 差
7、FastDFS 1、  开源 2、  适合以文件为载体的在线服务 3、  FastDFS没有对文件做分块存储 4、  不需要二次开发即可直接使用 5、  比mogileFS更易维护和使用 6、  直接使用socket通信方式,相对于MogileFS的HTTP方式,效率更高。 1、文件访问方式使用专有API,不支持POSIX  
8、swiftfs     1、基于HDFS
9、NFS 1、用户和程序可以象访问本地文件一样访问远端系统上的文件    

开源的分布式文件/对象系统比较有名的包括Lustre(HPC)GlusterFS(NAS NFS)、HDFS(hadoop)、ceph(虚机块存储)、swift(restful对象存储),各有不同的领域。

1.2 相关链接 1.2.1     Hadoop http://tech.it168.com/a2012/1029/1414/000001414776.shtml

hadoop文档 :http://hadoop.apache.org/

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

1.2.2     Googlefs 不开源 1.2.3     Tfs 开源首页:http://tfs.taobao.org/

1.2.4     Lustre http://lustre.org/

http://lustre.org/getting-started-with-lustre/

1.2.5     ceph: 社区网站地址: http://ceph.org.cn/ 中文文档: http://docs.ceph.org.cn/start/intro/

源码:https://github.com/ceph/ceph

https://www.oschina.net/translate/ceph

http://dockone.io/article/307

1.2.6     MogileFs 1.2.7     fastdfs http://elf8848.iteye.com/blog/1739596

MogileFs 和FastDFS 对比:http://blog.csdn.net/wishfly/article/details/6940504

http://www.sunnyu.com/?p=105

http://bbs.chinaunix.net/thread-2001101-1-1.html

1.2.8     swiftfs https://github.com/ovh/svfs

https://wiki.openstack.org/wiki/Swift

https://support.rackspace.com/how-to/swift-filesystem-for-hadoop/

1.2.9     综合  现在主流的开源分布式文件系统架构有哪些?

https://www.zhihu.com/question/19832447

 如何选择分布式文件系统?

https://segmentfault.com/q/1010000000449947

 各种分布式文件系统

http://os.51cto.com/art/201007/212689_all.htm

索引树:http://bbs.chinaunix.net/tree/index_304_1/

当下流行的分布式文件系统大阅兵

http://os.51cto.com/art/201007/212689_all.htm


1分也是爱


微信扫描二维码,关注公众号 (转载本站文章请注明作者和出处 哥妞-geniu)

评论

Content