蓝盟IT小贴士，来喽1
如果不知道芯片、组件、系统之间的移动和处理优先级，设计团队将添加更多不同类型的存储以平衡统一存储和共享存储，从而降低成本、提高性能和降低功耗
但是，这个问题不仅仅是内存供应商面临的挑战。 其他AI利益相关者也在工作，解决方案最重要的部分是内存互连，即内存接近计算。 在人工智能硬件峰会的内存互联课题和解决方案圆桌会议上，Rambus研究员Steve Woo说：“我们在人工智能的各个方面工作。”
即使在今天，内置SRAM和DRAM存储仍然是当前的推送技术。 DRAM密度高，使用容量存储器的结构比较简单，具有低延迟、高性能、接近无限次访问的耐久性，功耗也比较低。 SRAM非常快，但价格昂贵，密度有限。 这些不同的需求会影响存储类型、数量、嵌入式或外部存储的选择。
Marvell ASIC业务部门的CTO Igor Arsovski对SRAM有丰富的经验，说用啤酒比喻内存互联也不错。 “贫民窟就像一瓶啤酒。 容易使用，功耗低，只提供必要的东西。 “但是如果内存不够，你需要走得更远，需要走得更远，买啤酒。 ”。
HBM vs LPDDR
外部存储竞赛基本上以DRAM-GDDR和HBM为中心。 从工程和制造的角度来看，GDDR与DDR和LPDDR等其他类型的DRAM相比，可以放在标准的印刷电路板上，使用同样的工艺。
HBM是一种比较新的技术，它与堆栈和硅插板相关联，每个HBM堆栈都有成千上万的连接，因此需要远远超过PCB的处理能力的高密度互连。 HBM追求最高的性能和高质量的电源效率，但成本高，需要更多的工程时间和技术。 GDDR的互联并不多，但会影响信号的完整性。
Arsovski表示，在内存方面，HBM (高带宽存储器)被越来越多的人工智能所采用。
“需要60倍以上的能量来访问内存。 那里的容量相当大，但访问的带宽也大幅减少了。 啤酒的类比可以扩展到LPDDR(DDR SDRAM的一种)等技术，超过了SRAM。 “LPDDR的功率相当高，但可以放更多的容量。 ”“这就像沿着路去你最喜欢的酒吧。 ”。
Arsovski预计，下一代加速器的发展方向是将这些桶放在加速器的正上方，通过计算将存储器压缩到更近的位置。 MLCommons是提供机器学习标准和推理标准的组织，其成员包括学术界和工业界。 MLCommons执行董事David Kanter说：“这使我对各种工作量有了非常广泛的了解。 我们开始改变这个组织是集中在一点上。 那就是成立顾问团，引进特定应用领域的渊博专业知识。 MLCommons还计划为训练人工智能模型的任何人创建大规模的公共数据集，扩大服务范围，吸引其他专家。关于内存，Kanter介绍了整个系统的上下文很重要。 “你想做什么，必须考虑系统。 ”芯片、封装和电路板都是必须考虑的因素。 存储配置和连接的位置有各种角落，有可优化的阵列结构、单元类型和距离。 ”。
Kanter :“知道哪里需要带宽和非易失性也是重要的考虑因素，引导你做出正确的选择。 ”。
这些考虑因素对以前没有参与整个内存系统构建过程的公司来说非常重要。 谷歌软件工程师Sameer Kumar长时间研究编译器和可伸缩系统，其中网络和内存带宽对不同的机器学习模式很重要，包括大规模大量学习的能力。 “人工智能训练与大量记忆的优化有关，这是编译器获得效率的最重要的一步，意味着记忆需要更多的智能。 "。
由于数据移动开始主导人工智能应用的几个阶段，内存互联似乎变得越来越重要。 Woo :“在性能和效果方面，这是越来越严重的问题。 每个人都想把数据传输速度提高一倍，把能效提高一倍，所以数据传输速度有点困难。 “我们依赖的很多技术对我们来说已经不存在了或者放慢了速度。 我们有机地考虑新的体系结构，革新移动数据的方法。 ”。
Woo :这不仅包括存储设备本身的创新，还包括堆栈等软件包和新技术的创新，从而确保了mind data的安全。 美国内存技术公司Rambus认为这一点越来越引人注目。
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
