蓝盟IT小贴士，来喽！
新技术创新必须能够在可用性、简单性、成本和性能方面改善现代基于云的数据湖、数据仓库和分析能力，并独立扩展计算和存储以满足当前和未来的需要。 请勿干扰正在进行的工作负载、降低性能或在后台运行备份过程，从而阻止服务的使用。 而且价格低廉，不需要复制和移动到其他地方，应该可以用巧妙的方法保存数据。
现代数据湖是现代企业的基础。 如果设置正确，数据湖将会吸引人们自然地吸引想法，从而在确保系统的耐久性、灵活性和可用性方面得出有用的见解。
技术是现代数据湖最基本的需要。 目前，许多技术(如data积木、Microsoft Azure和AWS云)提供了许多服务，它们是实现强大洞察力的特定方法和想法。 更快、更好的决策，甚至是跨行业的业务转型。
数据湖支柱包括可扩展、可持续的数据存储、数据收集和组织机制、数据处理和分析以及共享发现的工具。 因此，为了支持大数据，专注于现代数据湖所包含的关键技术意味着所有类型的数据。
云拥有无限的资源。 基于云的服务特别适合数据湖。 这意味着云基础架构可以在几分钟或几秒钟内按需提供几乎无限的资源。 组织只需为其使用的资源付费，就可以在不影响性能的情况下动态支持各种规模的用户和工作负载。
节约成本、专注于数据的云技术—基于云的服务可以避免硬件、软件和其他基础架构的成本、前期投资、维护、更新和保护的成本本地系统
云技术附带自然的集成点。 据估计，多达80%的分析数据来自业务应用程序数据、生产数据存储、点击流数据、社交媒体平台、物联网、实时流数据。 将这些数据整合到云中要比构建内部数据中心容易得多，成本也更低。
使用noSQL内置-描述了可以存储和分析更新格式的数据(如从计算机和社交媒体生成的数据)，从而丰富和扩展组织的数据分析的技术。 众所周知，传统的数据仓库不能很好地容纳这些数据类型。 因此，近年来出现了用于处理JSON、Avro、XML等半结构化和非结构化数据格式的更新系统。支持现有技能和专业技能-Data Lake支持有效存储和处理所有类型的数据、数据管理、数据转换、集成、可视化、业务智能和分析工具所需的功能，可以轻松与SQL数据仓库进行通信标准SQL根深蒂固的作用意味着许多人拥有SQL技能。 允许其他编程语言提取和分析数据。
必须清楚地认识到云的成本、规模、性能、易用性和安全性的内在好处对数据湖总体规划和成果的影响。 柔性云数据湖有两个主要优点。
容量规划和管理的复杂性和成本系统的规模、平衡和协调系统必须嵌入系统中，实现自动化，并由订单成本承担。
快速动态配置存储和计算资源以满足高峰和稳定使用期间不断变化的工作负载需求也是如此。 容量是我们需要的一切。
选择最佳的基于云的数据湖生态系统。 理想的云数据湖解决方案通过灵活集成关系数据和非关系数据并识别服务，为企业和企业用户提供了必要的架构方法并使之可行。 数据科学家也是如此。 这些要点完美地说明了基于云的数据湖生态系统产品。 这些包括：
存储：— Data Lake存储必须能够存储大量结构化、半结构化和非结构化数据。 虽然可以支持Hadoop的HDFS，但是基于云的对象存储不仅可以在节点之间分布数据冗余，也可能是更好的选择。 AWS为可靠、安全、可扩展的对象存储提供了亚马逊简单存储服务(S3 )和亚马逊玻璃，具有相似的特性，以最低的管理开销实现了极低的长期归档
计算-在数据湖中，通过使用不同的计算资源，可以很容易地应用不同的分析算法。 例如，流分析需要高吞吐量，而批处理可能会占用大量处理器。 虽然Apache Spark可能需要大量内存，但是AI在GPU上效果最好。 与其他云提供商和本地Hadoop相比，基于云的理想数据湖服务具有将存储直接绑定到每个节点的计算上的灵活性。
分析-数据湖美德是针对许多不同的用例，用多种不同的方法分析同一数据的方法。 理想的基于云的数据湖生态系统不需要将数据迁移到不同的运营环境中，也不需要相关的开销、成本、工作量和延迟。
数据库-并非所有数据湖数据都是非结构化的。 一般来说，在事务和分析处理方面拥有更紧密的组织是有意义的。 同样，这提供了满足许多数据湖应用需求的多功能性。实时流处理-所有数据都简单地存储在数据湖中，而不是稍后进行分析。 通常需要收集、记忆、处理和分析运动中的实时数据。 一种理想的基于云的数据湖生态系统，提供强大的服务来收集、存储和分析流数据，构建满足特殊需要的定制流数据应用程序。
人工智能-这是理想的基于云的数据湖生态系统中最有用的功能。 人工智能和机器学习已经成为构建智能应用(如预测分析和深度学习)的常用工具。
安全服务-如图所示，安全、隐私和治理是将敏感数据信任到云数据湖的基本要素。
数据管理服务-由于数据用于不同的平台，因此ETL是正确移动和理解数据的重要功能。 理想的基于云的数据湖生态系统需要一个ETL引擎，以方便地了解数据源、准备数据并将其可靠地加载到数据存储中。
应用程序服务：数据湖本身可以是宝贵的资源，但与更高级别的应用程序集成后，就真的变得活跃了。 理想的基于云的数据湖生态系统包括一个全面的实用工具，可以用于IoT用例、移动应用程序和其他任何对象的API调用。
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
