蓝盟IT小贴士，来喽！
随着组织在远程运行，云是绝对必要的。 数据管理和安全性是头等大事，所有人都可以从不同的位置和系统访问数据。 现在，由于历史模式变得没有意义，智慧的AI越来越有吸引力。 换言之，组织意识到他们需要迅速做出改变。 随着数据投资的增加，各公司都在寻求升级系统，构建完善的数据堆栈。
有了2020年的米勒，我们现在就期待着新的一年，希望有更好的一年。 2021年会给数据世界带来什么？ 数据基础架构如何发展，以适应所有最新的创新和变化？
今年，我们将看到一些新的数据趋势，包括新的数据作用和数据质量框架的出现，现代数据栈和现代元数据解决方案的兴起，以及数据湖和仓库的融合。
1 .数据湖和仓库正在融合
在过去的十年中，数据设计师围绕两个主要单元设计了数据操作。
数据湖：一个廉价的存储空间，可以存储大量的原始数据和非结构化数据。 数据湖体系结构通常是临时探索和数据科学用例的理想选择。
数据仓库：过去，数据仓库具有最佳的计算和处理速度。 这有助于报告和商业智能，使仓库成为分析团队的首选系统。
目前，许多企业仍在使用这两种系统。 所有数据的数据湖和用于分析和报告用例的专用数据仓库。
虽然还没来，但是随着数据湖和仓库增加了更多的功能，我们开始看到两种生态联系融合在一起。
数据仓库(如Snowflake  )将存储和计算成本分开，从而大大降低了将所有数据存储在数据仓库中的成本。 此外，一些数据仓库参与者开始增加对半结构化数据的支持。
另一方面，数据湖参与者，如data积木，已经走向了“数据湖舍”的概念，他们最近宣布支持SQL分析和ACID事务。
详情请参阅：
Data  Lakehouses  :一种新的系统设计，将数据仓库中的数据结构和管理功能与数据湖的低成本存储相结合。
伟大的数据讨论： a16z播客的精彩集。 包含对数据堆栈中出现的各种技术和体系结构的深刻的省评论。
2 .“现代数据堆栈”成为主流
2020年以后，“现代数据栈”这个词在数据世界无处不在。 指用于处理大量数据的新的最佳现代数据架构。
强大的云平台是现代数据堆栈的重要支柱之一。 最初以云数据仓库为中心，现在也包括云数据湖和相关的数据湖引擎。目前，现代数据堆栈为数据工作流的各个部分提供了一系列工具。
数据提取：例如：光纤三角网、缝合、Hovodata
数据仓库：例如雪、BigQuery
数据湖：例如亚马逊S3
数据湖处理：例如Presto、Dremio、数据积木、Starburst
数据转换：例如dbt、Matillion
元数据管理：例如，亚特兰大
BI工具：例如外观
详情请参阅：
现代数据基础架构的新体系结构：基于对20多名员工的采访，深入了解在现代数据堆栈中取胜的技术。
2020年现代数据堆栈大会： Fivetran第一次现代数据堆栈大会的资源。 关于最新的创新、工具和最佳做法。
《现代数据堆栈新闻》 :每周新闻通讯，包括有关现代数据堆栈的博客、指南和播客。
3 .元数据3.0 :元数据管理的再生
随着现代数据堆栈的成熟，企业正在开展雄心勃勃的项目来升级数据基础架构，明确基本的数据要求(即提取数据、打包云迁移项目、设置新的BI工具) 这些释放了很多潜力，但造成了混乱。
“这个列名实际上是什么意思？ ”这样的上下文问题。 “为什么仪表板的销售数字错了？ ”。 扼杀以惊人速度前进的队伍的敏捷性。
虽然这些不是新的问题，但是我们处在新的、有吸引力的解决方案的最前线。 现代数据平台以五个主要参与者(AWS、Azure、谷歌云平台、Snowflake、Databricks  )为中心聚集，元数据本身成为大数据，因此智能和自动化成为元数据
在接下来的24~36个月内，我们将看到为解决数据发现、数据分类、数据沿袭、可观察性问题的现代数据堆栈而构建的一个或多个现代元数据管理平台的兴起。
详情请参阅：
Data  Catalog  3.0 :我的文章将解释元数据解决方案的过去和未来，以及在创建现代数据堆栈的现代元数据方面取得巨大飞跃的原因。
4 .出现了新的作用：分析工程师和数据平台负责人
2020年，两个角色的兴起空前成为主流。
数据平台负责人

组织意识到，需要一个负责开发数据平台的中央团队，以帮助组织的其他成员更好地开展工作。 当然，这个队伍需要领导者。

文/上海蓝盟   IT外包专家

• 上一篇: 蓝盟IT外包，元宇宙：四梁八柱是什么
  下一篇: 蓝盟IT外包，基于云的理想数据湖框架

• 分享到：