数据科学是将业务数据转换为资产的一种方式，可帮助组织增加收入，降低成本，抓住商机并改善客户体验。

什么是数据科学？将数据转化为价值

数据科学定义
数据科学是一种使用从统计分析到机器学习的方法从结构化和非结构化数据中收集洞察力的方法。对于大多数组织而言，数据科学用于以增加收入，降低成本，提高业务灵活性，改善客户体验和新产品开发的形式将数据转化为价值。
RiskIQ首席数据科学家Adam Hunt说：“如果你愿意，公司可以获得的数据量是巨大的，但是如果它没有做任何事情并将其变成有趣的东西呢？数据科学就是提供这些数据的目的。“
数据科学与分析
虽然数据分析密切相关，但它是数据科学不可或缺的一部分，用于了解组织的数据。数据科学使用分析的输出来解决问题。
Hunt说：“数据科学正在得出推动数据发展的结论。如果你不使用数据来解决问题，如果你只是在做研究，那就是分析。如果你真的想用结果来解释某些东西，你需要对科学进行分析。数据科学与实际问题解决之间的关系大于观察，检查和绘制数据。“
对于Looker的首席数据科学家Hillary Green-Lerman来说，数据分析和数据科学之间的区别在于时间尺度。她说，数据分析描述了当前的现实。数据科学使用这些数据来预测或了解未来。
Green-Lerman说：“许多人认为数据分析师只是主要的数据科学家；有些人在成长时希望成为数据科学家。有时这是事实，但事实上我发现一个非常好的分析师有一个不同的数据科学家技能。“
数据科学和大数据
数据科学和大数据通常是一致的，但数据科学可用于从各种规模的数据中提取价值，无论是结构化的，非结构化的还是半结构化的。当然，在许多情况下，大数据对数据科学家很有用，因为公司拥有的数据越多，它在给定模型中可以包含的参数就越多。亨特说：“有了大数据，公司就不必受小数据维数的限制。大数据在某些方面确实有所帮助，但更多并不总是更好。如果股票市场在正确的位置，它将无法运作。“
数据科学的商业价值
数据科学的商业价值取决于组织需求。数据科学可以帮助组织构建工具来预测硬件故障，允许组织执行维护并防止意外停机。它可以帮助预测超市货架上的内容，或根据其属性预测产品的受欢迎程度。
MapR Technologies的首席应用架构师Ted Dunning说：“数据科学团队可以拥有的最大价值在于他们融入了业务团队。几乎按照定义，寻找新人，真正创新的人，会发现价值或泄漏价值，而不是人们所期望的。通常他们会给商界人士带来惊喜。价值不是人们原先想到的。“
数据科学团队
数据科学通常是一门团队科学。数据科学家是大多数数据科学团队的前瞻性核心，但从数据转向分析，然后将分析转化为生产价值需要一系列技能和角色。例如，数据分析师应该在维护数据模型之前向团队提供数据并对其进行调查。数据工程师必须构建数据管道以丰富数据集并使其可供公司中的其他人使用。
eBates分析副总裁Mark Stange-Tregear警告不要寻求数据科学“独角兽”，他们将非线性思维与高级数学，统计知识和编码能力结合起来。
Stange-Tregear解释说，“我不认为数据工程是数据科学家的关键特征。我希望有人真正添加其他东西。如果我可以让某人建立模型，我可以评估统计数据并将模型的好处传达给业务。部门，然后我可以聘请一个足够成熟的数据工程师来采用该模型并实施它。“

嵌入式数据科学方法

一些组织选择将数据科学家与其他职能混合起来。例如，Mapr的Dunning建议遵循一种数据处理方法，将数据科学家嵌入到具有业务职责范围的DevOps团队中。这些数据运营团队通常具有跨职能和技能，如运营，软件工程，架构和产品管理，并且可以从头到尾协调数据，工具，代码和环境。数据运营团队倾向于将分析管道视为与生产线类似。
Dunned说：“孤立的数据科学团队可能希望部署最复杂的模型，而嵌入式数据科学家将寻求可负担的低成本胜利。他们对他们选择的解决方案务实。”
数据科学目标和可交付成果数据科学的目标是构建从数据中提取以业务为中心的洞察力的方法。这需要了解企业中价值和信息的流动方式，并能够利用这种理解来识别商机。虽然这可能涉及一次性项目，更典型的是，数据科学团队寻求识别可转换为数据管道的关键数据资产，以支持可维护的工具和解决方案。例如，银行使用的信用卡欺诈监控解决方案，或用于优化风电场中风力涡轮机放置的工具。
渐渐地，传达团队所做工作的演示也是重要的可交付成果。 Riskq的Hunt说：“确保他们将结果传达给公司的其他人是非常重要的。当数据科学团队长期陷入困境时，它就开始陷入困境。产品经理认为工作已经完成理所当然，除非我们一直在谈论它。并注意它。“
数据科学过程和方法
生产工程团队在Sprint周期中工作并具有计划的时间表。 Hunt表示，数据科学团队通常很难做到这一点，因为确定项目是否可行需要花费大量时间。
亨特说：“很多时候，第一周甚至第一个月都是研究，收集和清理数据。我们可以回答这个问题吗？我们能有效地做到吗？我们花了很多时间进行设计和调查，远远超出了标准工程团队的表现。“
对于亨特来说，数据科学应该遵循科学方法，尽管他指出并非总是如此，甚至可行。
亨特说：“企业试图从数据中提取一些见解。为了反复和自信地做到这一点，必须使用科学方法来准确证明他们的假设。但我不认为许多数据科学家实际上使用任何科学。“
亨特说真正的科学需要时间。公司花时间确认他们的假设，然后花费大量时间来反驳自己。
Hunt说：“通过数据科学，公司需要深入研究数据以验证这些假设。我们试图回答的许多问题都是短暂的。例如，试图在安全性方面找到威胁的解决方案。“
因此，他说，数据科学通常意味着采用“足够好”的答案，而不是最佳答案。然而，危险在于结果可能是确认偏见或过度拟合的受害者。
他说，“如果这不是真正的科学，也就是说，公司使用科学方法来证明一个假设，那么他们所做的就是使用数据来验证他们的假设。”
数据科学工具
数据科学团队使用各种工具，包括SQL，Python，R，Java和开源项目，如Hive，oozie和TensorFlow。这些工具用于各种与数据相关的任务，从提取和清理数据到通过统计方法或机器学习对数据进行算法分析。算法分析通过统计方法或机器学习来执行。
“企业需要良好的可视化工具。此时，编程工具Python是最受欢迎的。企业需要可以构建有趣模型的工具，”MapR的Dunning表示。
Dunning表示，当MapR调查其客户数据团队时，该团队至少使用了五种建模工具，甚至没有进入可视化工具。
“事情越来越多，因为人们更加怀疑。这种其他建模技术会产生更好的模型吗？“邓宁说。
数据科学家的薪水
根据PayScale的数据，这里有一些与数据科学相关的最受欢迎的工作和每个职位的平均工资：
分析经理：67,000美元至126,000美元
助理数据科学家：58,000美元至101,000美元
商业智能分析师：49,000美元至95,000美元
数据分析师：42,000美元至83,000美元
Data Architect：77,000美元至153,000美元
数据工程师：64,000美元至132,000美元
数据科学家：65,000美元至134,000美元
IT数据科学家：61,000美元至135,000美元
首席数据科学家：95,000美元至172,000美元
研究分析师：40,000美元至70,000美元
研究科学家：48,000美元至118,000美元
高级数据科学家：93,000美元至160,000美元
统计学家：50,000美元至108,000美元
数据科学技能
虽然数据科学学位课程的数量正在迅速增加，但它们并不一定是组织在寻找数据科学家时所寻求的。 eBates公司Stange-Tregear说他正在寻找具有统计背景的候选人，所以他们知道他们是否在查看实际结果，将结果放在现场的领域知识中；和沟通技巧，使他们能够将结果传达给业务用户。
“如果我有一位能够做到这一切的数据科学家，那么我担心通过数据工程团队这样做，”他说。
寻求RiskIQ表示，它对拥有博士学位的候选人非常感兴趣。亨特说：“我更愿意雇用拥有博士学位的人，但我不会放弃那些有丰富经验的人。医生可以对一个主题进行非常深入的研究，并将这些信息传播给其他人。但是，拥有坚实的背景或个人项目非常有趣。“
亨特说他擅长物理，数学，计算机科学，经济学甚至社会科学方面的人才。他不会看具有数据科学或分析学位的候选人，但他对招聘他们有所保留。他说：“我个人的经验是，我发现它们非常有用，但他们过于关注模型的运作，而不是思维方式。”MapR的Dunning更关注申请人的个人能力，而不是展示新事物的能力。他说：“我聘请数据科学家时首先想到的是：受访者可以教我一些东西吗？我不想找一个可以指导我怎么做的人。我真的很想找到能够做到的人做我不能做的事情。或者可以教会团队的才能。“
邓宁指出，一些优秀的数据科学家或数据科学领域的领导者具有非传统背景，并指出他与之合作过的最优秀的人包括已经做了六年园丁的人，有艺术背景的人，有些人。甚至拥有法国文学学位和没有接受过计算机培训的新闻学生。
邓宁说：“我想用数据感知来测试人，而不是公式。我希望能够看到并理解它们。”

数据科学培训

鉴于目前缺乏数据科学人才，许多组织正在制定培训内部数据科学人才的计划。培训是另一种快速发展的培训员工担任数据科学家角色的方法。
数据科学学位
根据美国新闻和世界报道，这些是数据科学的顶尖研究生学位课程：
统计学硕士：斯坦福大学数据科学
信息与数据科学硕士：伯克利信息学院
数据科学理学硕士：哈佛大学，约翰保尔森工程与应用科学学院
分析理学硕士：芝加哥大学格雷厄姆学院
计算机数据科学硕士：卡内基梅隆大学
数据科学理学硕士：华盛顿大学
跨学科数据科学理学硕士：杜克大学
应用数据科学硕士：密歇根大学信息学院
数据科学认证
组织需要拥有数据分析技术专业知识的数据科学家和分析师。他们还需要大数据架构师将需求转化为系统，数据工程师需要构建和维护数据管道，需要了解Hadoop集群和其他技术的开发人员，以及系统管理员和管理员来连接所有内容。认证是候选人表明他们拥有合适技能的一种方式。
一些顶级大数据和数据分析认证包括：
数据科学专业成就认证
认证分析专家
Cloudera认证助理（CCA）数据分析师
EMC认证专业数据科学家协会（EMCDSA）
MapR认证数据分析师
Microsoft认证解决方案专家（MCSE）：数据管理和分析
使用SAS 9的SAS认证数据科学家

• 上一篇: 蓝盟IT外包，元宇宙：四梁八柱是什么
  下一篇: 大数据流处理：Flume，Kafka和NiFi比较

• 分享到：