蓝盟IT小贴士,来喽!
为了建立有效的机器学习和深度学习模型,组织需要获取大量数据并对其执行特征性工程的方法和在合理的时间内训练数据模型的方法。 然后,组织需要引入模型,监控模型是否随着时间的推移而变化,并根据需要重新培训。
如果组织已经在计算资源和加速器(如GPU )上投资,则可以在公司内部部署基础架构来完成所有这些操作,但是如果资源充足,则可能会有很多时间空闲。 另一方面,如果在云平台上运行整个管道,根据需要使用大量的补正资源和加速器,并将其释放,则成本效益可能会更高。

主要的云计算提供商(以及其他云计算提供商)可以为机器学习平台组织提供哪些云平台可以满足需要,以便支持从修订项目到保持生产模型的完整的机器学习生命周期,以及每个端到端机器学习平台必须提供以下12项功能:
如果您的组织拥有创建准确模型所需的大量数据,则不希望传输到全球。 这里的问题不是距离,而是时间。 数据传输速度最终受光速的限制。 在带宽无限完美的网络上也是如此。 长距离意味着等待时间长。
对于非常大的数据集,最好在数据已经存在的地方建立模型,以免传输大量数据。 一些数据库在一定程度上支持这一点。
下一个最佳情况是数据与模型构建软件位于同一个高速网络上。 这通常意味着位于同一数据中心内。 如果您的组织拥有超过TB的数据,则将数据从一个数据中心迁移到云计算可用性区域内的另一个数据中心可能会造成严重的延迟。 组织可以通过执行增量更新来缓解这种情况。
最糟糕的是,组织的带宽受到限制,需要在高延迟路径上远程移动大量数据。 在这方面,澳大利亚为此引进的横跨太平洋电缆的工程令人震惊。
文/上海蓝盟 IT外包专家