使用容器存储时,对于HDFS,CEPH,GFS,GPFS,Swift等更好的方法是什么?

发布者:上海IT外包来源:http://www.lanmon.net点击数:2293

目前,公司正在选择容器云技术,计划采用商用产品,并已联系华为,RANCHER,阿里等产品供应商。现在我想知道相应的分布式存储如何匹配,HDFS,CEPH,GFS,GPFS。分布式存储,如Swift,哪个更好,主要场景是容器存储应用程序日志,配置文件,非结构化数据文件等,请继续引导上帝。 (@ yin986软件架构师保险)
@ Steven99软件架构师
日志文件将随着时间的推移而变化很大,因此建议考虑使用统一的日志中心存储过程,该过程可以使用es等备份到hdfs。
配置文件在数量方面通常不是问题。您可以考虑配置中心的统一管理,无需额外存储。
非结构化数据通常是大量文件,可以存储在传统的nas或分布式对象中。当然,足够的资金可以购买良好的存储,存储性能非常重要,并根据业务的重要性选择不同的存储。
@Garyy保险系统工程师
容器存储的持久性对于状态数据的容器使用场景至关重要。因此,在技术选择上,有必要澄清存储的具体需求。存储分为数据类型,可分为块存储,对象存储和文件存储。在我们的传统环境中,最常用的是块存储和文件存储。随着IT的升级,对对象存储(非结构化数据)的需求正在增长,并且对象存储在存储某些键值数据方面具有天然优势,加上其分布式,复制/删除代码等可以匹配传统存储的特点,越来越成为暖数据/冷数据存储的最佳选择。
HDFS/CEPH/GFS/GPFS/Swift等分布式存储根据存储类型进行区分。 HDFS/GPFS/GFS属于文件存储,CEPH属于统一存储 - 即块/对象/文件集合,Swift属于对象存储。 - 目前是OpenStack下的一个子项目。1.HDFS
Hadoop分布式文件系统(HDFS)旨在适用于在商用硬件上运行的分布式文件系统。它与现有的分布式文件系统有很多共同之处。但与此同时,它与其他分布式文件系统的区别也很明显。 HDFS是一种高度容错系统,适合在廉价机器上部署。 HDFS提供高吞吐量数据访问,是大规模数据集应用的理想选择。 HDFS放宽了一些用于流式读取文件系统数据的POSIX约束。
HDFS具有高度容错能力,旨在部署在低成本硬件上。它提供了访问应用程序数据的高吞吐量,适用于具有大型数据集的应用程序。 HDFS放宽了POSIX(要求)的要求,以便可以在文件系统中访问流数据。
2.GFS
GFS是一种可扩展的分布式文件系统,适用于访问大量数据的大型分布式应用程序。它运行在廉价的常规硬件上,并提供容错功能。它可以为大量用户提供更高的整体性能服务。
3.GPFS
GPFS(通用并行文件系统,GPFS)是IBM的第一个共享文件系统,源自IBM SP系统上使用的虚拟共享磁盘技术(VSD)。作为该技术的核心,GPFS是一个并行磁盘文件系统,它保证资源组中的所有节点可以并行访问整个文件系统;并且可以安全地同时使用文件系统的服务操作。在多个节点上实现。 GPFS允许客户共享可能分布在不同节点上不同硬盘上的文件;它提供了许多标准的UNIX文件系统接口,允许应用程序在它们上运行而无需修改或重新编辑。
4.CEPH
Ceph是一种可靠的自动重均衡自动恢复分布式存储系统。根据场景划分,Ceph可以分为三个块,即对象存储,块设备存储和文件系统服务。在虚拟化领域,Ceph的块设备存储更常用。例如,在OpenStack项目中,Ceph的块设备存储可以连接OpenStack的cinder后端存储,Glance的镜像存储和虚拟机的数据存储。 Ceph集群可以提供原始块存储以用作虚拟机实例。Ceph优于其他存储的优势在于它不仅仅是存储,还充分利用了存储节点上的计算能力。存储每个数据时,它会计算数据存储的位置,并尝试尽可能多地分发数据。同时,由于Ceph的良好设计,采用了CRUSH算法,HASH环等方法,因此不存在传统单点故障的问题,因为规模不大,性能不会受到影响。扩大。
5.Swift
Swift最初是由Rackspace开发的高可用性分布式对象存储服务,并在2010年作为其原始核心子项目之一为OpenStack开源社区做出贡献,为其Nova子项目提供虚拟机图像存储服务。 Swift基于相对便宜的标准硬件存储基础架构,无需RAID(冗余磁盘阵列),并通过在软件级引入一致的散列技术和数据冗余来实现高水平的数据一致性。可用性和可扩展性,支持多租户模式,容器和对象读写操作,适用于解决Internet应用程序场景中的非结构化数据存储问题。
IT外包
>
400-635-8089
立即
咨询
电话咨询
服务热线
400-635-8089
微信咨询
微信咨询
微信咨询
公众号
公众号
公众号
返回顶部