NVMe存储性能瓶颈的主要来源:文件系统

发布者:上海IT外包来源:http://www.lanmon.net点击数:985

NVMe经由过程改进物理接口、添加呼吁数目和行列深度,使存储根本举措步伐可以充实把持闪存的上风。可是NVMe也带来了一个挑战:NVMe的耽误很是低,它吐露了存储根本架构中其他组件的弱点。根本架构中的任何亏弱环节都市添加耽误并降低NVMe的价值。

文件体系是存储根本架构中的一个问题较大的局部。如今是供给商重新考虑文件体系架构的时辰了,特别是,他们必需改削文件体系与NVMe存储的交互编制,以按捺成为瓶颈。

Photo by panumas nikhomkhai from Pexels

为什么是文件体系?

办事于AI和高速工作负载的文件体系通常是可横向扩展的。一个横向扩展文件体系由多个存储办事器或节点构成,文件体系聚合这些节点中的内部存储,将其表示为用户和应用轨范可以访谒的单个存储池。传统的文件体系也可以横向扩展,但它们是串行的,这意味着所有I/O都要经由一个主节点,而AI和高速工作负载很随意将其压服,从而形成瓶颈。这些工作负载依靠于一个并行文件体系构造,该构造容许集群中的任何节点向用户或应用轨范供给I/O办事,这使得搜集服从加倍重要。

大多数NVMe存储体系都是为块存储而设计的。是以,它们按捺了文件体系架构的机能开销。然而,在大多数情形下,文件体系会被添加到块存储体系中,以便这些AI和高速工作负载可以使用它。大多数当代应用轨范——尤其是AI、机械进修和大数据分析措置轨范——都依靠于文件体系。

添加了文件体系的设计精采、基于块的NVMe存储体系仍然可能比基于块的SAS存储体系快,可是RAW块存储和文件体系节制的存储之间的机能降落是明显的。所以,构造必要针对NVMe停止过优化的文件体系。

对付基准测试,应关注什么

供给商经常会使用几个文件体系基准测试来演示其功能。这些测试中的大多数使用带有并行文件体系的NVMe块存储,供给商可以轻松地使用各类设置装备安排来使某个参数到达图表的顶部,然这可能具有必定的误导性。

例如,在当前的标准机能评估公司SFS 2014基准测试中,顶级供给商在测试情形中的驱动器数目、驱动器类型和存储节点数目上存在明显差异。在大多数情形下,硬件供给商试图经由过程使用超出需求的硬件来减少文件体系架构开销,并将价钱推高到超出对付大多数构造来说较为合理的程度。

真正重要的是硬件和文件体系对构造的工作负载类型和预算的施行情形,大多数公司没有无限的资金来建树完满的NVMe-文件体系组合。IT专业人员应该探求可以到达需求的最简单的设置装备安排。

对付文件体系,应关注什么

文件体系机能首要有三个限定身分:

· 文件体系与存储节点的通佩服从;

· 文件体系若何高效地办理毗连各个存储节点的搜集,以及若何高效地与客户端通信;

· 文件体系若何有效地办理元数据访谒。

在大多数当代应用轨范情形中,元数据占所有I/O的80%以上。

文件体系通常经由过程把持体系I/O栈与存储前言通信。大多数高级文件体系都基于Linux,并经由过程该堆栈停止通信,可是Linux堆栈添加了开销。另一种编制是文件体系建树本身的I/O通道,以毗连到基于NVMe的文件体系。从文件体系开发过程来看,与驱动器的直接通信加倍坚苦,可是它为文件体系用户供给了获得最大机能的最佳机缘,而不必使用昂贵的硬件停止过度补偿。

文件体系通常经由过程使用标准NFS和谈与客户端通信,可是NVMe有一个搜集变体(NVMe- oF),当代文件体系应该供给软件支撑并行,以及本地NVMe-oF访谒,以便在客户端上运转。NVMe-oF还可以用于互连各类存储节点,如许会使文件体系更易于访谒,以直连存储的耽误。

在全NVMe文件体系架构中,元数据访谒本质上是快速的,可是元数据的构造编制必需是高效的,以便从NVMe的低耽误中获益。优化元数据机能,必要将其跨越文件体系集群中的所有节点,如许就不会出现单个节点的机能瓶颈。

若何充实把持NVMe

与其他类型的工作负载比力,AI和高速负载可以更充实地把持NVMe。这些工作负载的挑战通常是应用轨范经由过程文件体系访谒存储,传统的文件体系没有为基于NVMe的驱动器优化它们的I/O。更快的节点硬件和NVMe驱动器供给了更好的机能,可是传统文件体系的架构无法使硬件充实阐扬其潜力。

为了按捺这个问题,必要探求直接写入NVMe驱动器而不是经由过程把持体系I/O堆栈的文件体系。还要探求可以让客户端跨NVMe-oF停止通信的文件体系,并以不影响机能的编制办理元数据

IT外包
>
400-635-8089
立即
咨询
电话咨询
服务热线
400-635-8089
微信咨询
微信咨询
微信咨询
公众号
公众号
公众号
返回顶部