在谈到HPC时，似乎Lustre无法避免。 Lustre是HPC的代名词。它是并行开源文件系统HPC中具有最高市场份额的文件系统，并得到了英特尔和DDN等供应商的大力支持。目前，与英特尔和Lustre相关的服务已被DDN接管。
鉴于Lustre在HPC行业的知名度和认可度，如今，读者将获得一篇关于Lustre设置的文章，为学生和Lustre爱好者提供学习参考。
1 Lustre性能优化参考
1.1网络带宽
网络的带宽通常决定光泽文件系统的总带宽。 Lustre通过多个OSS同时读取数据，提高了系统的整体读写性能。但是，如果网络传输性能太低，则无法利用亮度文件系统的性能优势。考虑网络带宽对以下几点性能的影响：
网络类型（TCP/IP网络和Infiniband网络）
网卡类型（千兆网络/10G网络）
网卡数量和链接方式（网卡链接）
NIC链接模式
补充：
Infiniband网络的性能通常远高于TCP/IP网络，但成本更高。
10G网络的性能高于千兆网络
NIC链接模式一般为6。
1.2自己的Lustre设置。
Lustre自己的设置主要是条形数（即OST数）以及如何阻止它们。这两个方面也是Lustre I/O并发的关键。 band的创建允许系统实现并发性，这会影响系统的性能。 Lustre自身配置对系统性能的影响主要归功于以下几个方面：
条形尺寸（条纹，最小=64KB）
条数（stripecount）
初始块编号（start-ost，条形图的初始位置）
补充：
通常，start-ost的默认值为-1，无需修改它。此配置未指定初始位置，可以实现良好的负载平衡。
通常，亮度块的大小增加并且总带宽通常减小。当块太大时，在某个时间在同一OST中产生几个I/O，这导致I/O等待，通常建立。 64KB通常，随着块数量的增加，总带宽通常会增加。在某些情况下，OST的合理配置可以为光泽系统的性能提供完整的设置。
1.3客户端配置
在Lustre文件系统中，客户端生成全局存储空间，用户的数据通过客户端存储在光泽文件系统中。客户端配置也会影响系统的性能。
主要来自以下几点：
唯一客户端进程数（连接数）
读写块大小
客户数量
补充：
随着连接数（进程数）的增加，总带宽开始增加并稳定到一定程度（系统性能尚未达到饱和）。随着连接数量的增加，带宽开始减少。
随着读/写I/O块的大小增加，总带宽开始增加，然后在一定程度上稳定。然后，块大小增加并且带宽增加。当它是64KB到64MB时，它保持稳定。
随着客户端数量的增加，在读取模式中添加的带宽显着增加，而在写入模式中添加的带宽不会显着变化。
1.4 RAID存储
底层Lustre存储设备使用通用存储设备，可以是单磁盘，RAID或LVP。他们中的大多数使用RAID模式来保证增加的存储容量和数据保护。主要来自以下几点：
RAID模式（硬RAID /软RAID）
RAID模式（RAID0/1/2/3/4/5/6/10/01）
硬RAID卡的类型
RAID类型（SATA，SAS，SSD）
补充：
在正常情况下，光泽文件系统的下层使用硬RAID作为底层存储，性能远高于软RAID，但成本很高。
Lustre通常使用RAID6来改善数据保护
OST驱动器通常使用低成本SATA驱动器，而MDS通常使用SSD。
2小文件优化的光泽
2.1一般设置
1.通过应用读写聚合来提高性能，例如用于小文件的Tar，或通过回送程序集创建大文件或存储小文件。小文件系统调用的开销和额外的I/O重载非常大，应用程序聚合优化可以显着提高性能。此外，多进程，多进程/多进程可用于通过尽可能多的聚合来增加I/O带宽。
2.应用程序使用O_DIRECT方法进行直接I/O.读/写寄存器大小设置为4 KB，这与文件系统一致。禁用输出文件中的阻塞以避免客户端之间的竞争。
3，应用程序尝试确保连续数据被写入，并且小文件的顺序读取和写入明显优于小型随机文件的I/O.
4，OST使用SSD或更多磁盘来提高IOPS，以提高小文件的性能。创建高容量OST而不是多个小容量OST，减轻日志，连接等负担。5. OST使用RAID 1 + 0而不是RAID 5/6来避免由小文件的频繁I/O引起的数据验证开销。
2.2系统设置
1.禁用所有调试功能的客户LNET：默认情况下，多次调试信息被启用，sysctl的-w lnet.debug=0，降低了系统的开销，但是当它发生时不会有记录查询一个错误
2.增加客户端的脏缓存大小：默认值为32 MB。增加缓存将提高I/O性能，但也会增加数据丢失的风险。
3.增加RPC并行数量：默认值为8，增加到32将提高数据和元数据的性能。缺点是如果服务器承受很大的压力，它会影响性能。
4.检查光泽跟踪：lfs setstripe -c 0/1/-1/path/filename。如果OST对象的数量大于1，则小文件的性能将降低，因此将OST对象设置为1。
5，客户考虑使用本地锁：安装-t -o localflock光泽，如果判断为多重写入处理来自同一客户端文件，可以被用来代替羊群localflock减少发送到MDS RPC的数量。
6.使用文件安装回送：创建一个大文件的光泽，它与循环设备相关联，并创建一个文件系统，然后安装作为一个文件系统。小文件的作用就可以了，MDS元数据操作的大原金额将成为读写操作OSS，消除了元数据的瓶颈，它可以显著提高小文件的性能。
这种方法是在工作区中是可行的，但应谨慎进行生产数据，因为光泽在此模式中当前运行，还是有问题地使用，操作的方法如下:
3文件说明
Lustre 2011文件系统性能优化研究（王波，李先国，张晓）
根据2008年的软因素影响性能的RAID亮度分析（张丹丹，尧其丰）
Lustre I/O性能最佳实践
Lustre文件系统I/O性能的分析与改进（林松涛，周恩强，廖祥科）
中文
电话咨询
微信咨询
公众号
