IT外包网管服务，大数据的下一步是什么？混合服务/分析处理-IT外包官网-蓝盟集团

IT外包网管服务，大数据的下一步是什么？混合服务/分析处理

发布者：上海IT外包来源：http://www.lanmon.net点击数：1503

蓝盟IT外包小贴士，来喽！
根据侧点差异，传统数据库可以分为以事务为中心的在线事务处理(OLTP )系统和以分析为中心的在线分析处理(OLAP )系统。随着国际互联网的发展，数据量呈指数增长，离线数据库已不能满足企业的业务需求。特别是在分析领域，查询可能需要遍历大多数或所有数据，但是大量数据造成的压力特别迫切需要采用新技术。它推动了近十年来由Hadoop技术发起的大规模数据革命，满足了大量数据分析的需要。同时，为了应对在线事务处理(OLTP )场景数据的增长，数据库领域出现了一些分布式数据库产品。

为了分析联机事务处理(OLTP )系统中的数据，将联机事务处理(OLTP )系统中的数据定期(例如每天)同步到联机分析进程(OLAP )系统是标准的。此架构可以防止分析查询影响联机事务。但是，定期同步的分析结果并非基于最新的数据，这种延迟可能会使企业失去及时做出业务决策的机会。为了解决这个问题，近年来出现了允许企业直接分析在线事务处理(OLTP )数据库内的数据，确保分析即时性的htap (hybridtransactionanalysisprocessing :混合动力分析处理)体系结构分析不再是传统的在线分析处理(OLAP )系统或大型数据系统的独特功能。问题之一是hybridtransactionanalysisprocessing (htap )具有分析功能，能够取代大型数据系统。大数据的下一站是什么？

建议系统收集大量的用户行为事件(阅览、点击等)和交易记录(从OLTP数据库同步的支付记录等)。这些数据量非常大(通信量可能达到每秒千万到几亿条)，大多数数据不来自交易系统。为便于将来的使用，这些数据在引入系统中的同时，将它们与各种维度表数据相关联，以导出一系列重要特征，并且实时更新到推荐系统中，以优化用户体验。此处的实时维表关联需要低延迟和高吞吐量点检查支持，以对应新生成的数据。
推荐系统还使用滑动窗口等方法，补正各种维度和时间粒度的特征(过去5分钟的点击次数、过去7天的收看次数、过去30天的某商品的销售额等)。根据滑动窗口的粒度，这些聚合可以通过流修正或批处理来执行。

这些数据还用于生成实时机器学习样本和脱机机器学习样本，并且已验证的模型在推荐系统中不断更新。以上说明了高级推荐系统的核心部分，但这不过是整个系统冰山的一角。此外，还需要一个完整的系统来监控、验证、分析和协调实时模型。这包括在大屏幕上实时查看A/B测试结果、使用交互式分析的业务智能、优化和调整模型等。此外，运营部门还将使用各种复杂的查询来详细了解业务进展情况，并利用客户定位和产品建议进行明确的营销。

文/上海蓝盟 IT外包专家