微软已经开源了一个大规模的数据处理项目Data Accelerator，它最初是在内部使用的。自2017年开发以来，该项目已大规模应用于各种Microsoft产品工作渠道。
根据微软官方开源博客的说法，Data Accelerator的一些方法可以更容易地在Apache Spark上构建流管道：
即插即用：轻松设置输入源和输出接收器，在几分钟内创建管道。 Data Accelerator支持从Eventhub和IoThub获取数据，并支持将数据下载到Azure blob，CosmosDB，Eventhub等。
无代码体验：无需编写任何代码即可设置警报和数据处理。借助Rule Designer的经验，您可以指定简单和聚合的数据处理，标记和警报。
SQL查询：在SQL——中编写复杂的处理不需要在Scala中工作。内置的可扩展性模型还支持用户定义的功能，并利用Azure功能，例如，用于ML中的流式传输。
实时查询：通过针对传入的数据样本运行并在几秒钟内验证查询来保存设置和测试管道处理时间。
Data Accelerator不仅仅是EventHub和数据库之间的管道。它允许用户在继续流式传输的同时重新传输传入事件，然后将同一事件的不同部分路由到不同的数据存储，同时为整个管道状态提供运行状况监视和警报。
Data Accelerator还提供配置UI和规则/查询设计器体验，允许用户无需编写任何代码即可启动和运行。
此外，执行流数据处理的任何人通常需要使用滑动窗口来处理数据，或处理延迟以获得数据，或者随时间累积数据。 Data Accelerator支持并简化了这些高级功能的使用。
最后，Microsoft提到Data Accelerator支持dev-test循环的快速验证周期，其中本地采样事件的查询可以在部署之前被迭代地纠正为可用，这可以节省大量的测试工作流时间。
中文
电话咨询
微信咨询
公众号
