发布者:上海IT外包来源:http://www.lanmon.net点击数:1219
蓝盟IT小贴士,来喽!
根据这个参数的关联性,设计师必须选择容量和性能。 需要更多的吞吐量吗? 可以部署更多的主轴和固态硬盘控制器,但会产生未使用的容量。
当工作负载需要为小数据集提供高I/O吞吐量时,预配置的IOPS和容量问题就变得尤为突出。 作为示例,Azure反馈门户上的评论表明,Azure无法提供与托管磁盘的容量分开的性能。
软件定义存储(SDS )可以取消这些参数的连接,并在存储资源和组件之间放置逻辑抽象层。 集中化的软件控制平面还允许云存储服务通过在存储节点和驱动器之间分布逻辑块卷和文件共享来进一步增加容量。
虽然可以单独优化超大规模的分布式存储系统,但只有少数几个服务可以支持此选项,因为提供这些系统成本高,需求少,如下所述。
的根本原因和早期解决方案
IOPS和容量的关联基于旋转磁盘和硬盘磁头的机械限制,只有四种方法可以增加IOPS。
更快的转速
更高密度的磁性介质
添加磁头
更大的RAM高速缓存
SSD消除了对吞吐量和I/O的机械限制,但有以下附加限制:
存储单元的读取和写入速度
“与”闪存是一个大的存储器块,会增加写入和延迟访问
驱动器控制器的吞吐量受嵌入式微控制器单元、存储器缓冲区、NAND I/O和SATA接口的速度的限制
它们为SSD吞吐量和IOPS设置上限,特别是随机写入时,延迟可能是顺序写入的10倍。
写入高IOPS工作负载的传统方法是在RAID所需的多个设备之间分配存储卷,然后添加更大的RAM缓存作为I/O缓冲区。 第一种方法会导致未使用的容量,第二种方法会增加成本。
使用SDS、云服务分别配置IOPS
第一个将存储容量和吞吐量分开的产品必须是来自SoliFire的产品,该产品于2015年被NetApp收购。 SolidFire首次推出了服务质量(QoS )功能。 此功能对吞吐量和IOPS执行最低、最高和突发级别。 正如先前在本体系结构文章中讨论的那样,SolidFire为系统中的每个卷分别分配性能和容量。 虽然该公司没有提供内部细节,但在横向扩展系统中,每个1U节点都是分布式控制器的一部分,控制器通过专用的高速后端网络连接。 如果需要,该软件可以透明地增加跨多个节点的容量,以满足QoS保证。虽然云提供商对提供服务的物理硬件和配置以及管理软件保持保密,但我们知道他们利用SolidFire的横向扩展阵列方法将分布式控制器扩展到机架和Pod的规模。 提供商通常部署数百台相同的存储服务器,并将其聚合到资源池中,以提供各种类型和性能级别的存储服务,包括数据块、文件和对象。 例如,Amazonelasticblockstore(EBS )有许多不同的版本,包括通用SSD (称为gp2和gp3 )和预配置的io1和IO2 IOPS SSD。
云存储产品通常对IOPS层提供不同的容量限制(最小和最大)。 但是,2020年re :在invent 2020大会上发布的gp3实例可以分别提高吞吐量和IOPS,而不增加块存储容量。
gp2和gp3的实例为IOPS的性能提供了软上限。 据Amazon称,在某一年,99%的时间将提供IOPS性能的10%以内。 另外,小于1,000 GB的gp2卷至少在30分钟内具有最多3,000 IOPS的突发性能,gp3卷至少提供3,000 IOPS,没有突发性能功能。 相比之下,亚马逊表示,预配置的IOPS io1和io2卷在一年中的99.9%的时间内,预配置的IOPS性能低于10%,延迟低于10毫秒。 与基于AMD的r5 Elastic Compute Cloud实例结合使用时,io2卷最多可以为4 GB以下的卷提供260,000 IOPs的速度。
AWS竞争对手提供了类似的灵活性来配置IOPS,而不管其容量如何。 这些包括:
Azure Ultra磁盘有多种固定大小,从4千兆字节(GiB )到64 TB不等。 用户可以为每个GiB设置最多300 IOPS的限制,为每个磁盘设置最多160,300 IOPs的限制。 因此,32 GiB卷可以配置为100到9,600 IOPs。
IBM Cloud支持调整IOPS,在两个服务级别范围内无中断动态调整IOPS的容量。 密度卷支持每0.25IOPS以上的IOPS设置,性能或分配的IOPS卷支持100到48,000 IOPs之间的一个值。
相比之下,大多数云服务通过卷大小线性扩展IOPS性能。 例如,谷歌云平台(GCP ) SSD永久磁盘基于所连接的vCPU的数量、块大小和其他参数,每千兆字节读取/写入30个id 同样,Oraclecloudinfrastructure(OCI )块性能卷为每75IOPs ) 4,000张),每个卷最多提供35,000 IOPs 因此,如果应用程序只需要128 GB的卷,则可以将GCP SSD配置为3,840 IOPs,将OCI配置为9,600 IOPs,将亚马逊EBS IO2配置为最多64,000 IOPs。选择服务
许多云存储服务和阵列供应商都通过容量来扩展IOPS。 这是因为驱动器和控制器技术的技术限制要求扩展设备以提供更大的吞吐量和IOPS容量。 但是,在某些应用程序中,工作集和I/O吞吐量要求不是线性扩展。
文/上海蓝盟 IT外包专家
分享到: