对于已知数据，公司很难跟踪和保护，更不用说黑暗数据 - 公司无意中创建的数据，黑暗数据给公司带来了完全不同的挑战。主要挑战包括确定如何访问，使用和保护黑暗数据，以防止攻击者使用它来攻击企业。
黑暗的数据
确定公司拥有多少黑暗数据也面临挑战。在True Global Intelligence的支持下，旧金山大数据软件提供商Splunk研究了无处不在的黑暗数据。
在这个问题和答案中，Splunk的高级副总裁兼首席技术官Tim Tully解释了黑暗数据是什么，为什么有这么多黑暗数据，以及公司如何使用数据管理和培训来更好地查找，使用和管理这些数据。数据。
你如何定义暗数据？
Tim Tully：我们将暗数据定义为未知，未识别或未使用的数据。我在本报告中发现的最有趣的关键数据是，我们调查的公司认为世界上55％的数据都是黑暗的。这个数字高于我的想象。
我认为这个数据低的原因是我在雅虎工作了大约14年才进入Splunk，而我所有的工作都涉及大数据。我跟踪了日志集或日志ETL（提取，转换，加载）和数据的使用情况。根据我的经验，这个数字要低得多，因为我看到我们收集了全球数十万台服务器的数据。
黑暗数据来自哪里？
Tully：创建黑暗数据的方式分为两类。一个是根本没有收集数据 - 这是一种僵尸数据。通常，当企业引入新服务器时会发生这种情况，特别是如果它是登台服务器而没有服务器。企业可以轻松地将这些服务器联机并快速关闭，而无需收集任何日志。
在第二种情况下，人们出于各种原因收集数据，例如合规性原因或只是为了获得良好的睡眠，然后停止使用数据。这是一个“未使用”的数据类别。
另一方面，虽然公司的黑暗数据比例很高，但他们仍然认为数据技能非常重要。最后一个原因是人们普遍认为使用AI可能是控制暗数据发展的方法。
鉴于数据隐私立法的激增，公司在发现黑暗数据时应该怎么做？目标是使用它还是销毁它？塔利：我认为这是两者的结合。如果您在那里有数据并且没有被查看，那么企业将失去提高安全性的机会。例如，您希望查看防火墙日志并了解入站TCP连接并了解您正在攻击的对象。因此，从安全的角度来看，这意味着失去了一个很好的机会。
另一方面，如果公司使用这些数据，他们可以更好地构建AI驱动的模型，并更好地确定如何执行威胁建模和异常检测。这就是我在上一家公司看到的。从网络安全的角度来看，这有很大的影响。
黑暗数据对网络安全的影响是什么？
塔利：最明显的效果是没有使用这些数据。如果您收集了数据并且没有对其执行任何操作，甚至检查日志，那么这可能是一个可怕的错误。你想知道你是否受到攻击。如果你实际上没有查看黑暗数据，你怎么知道人们试图攻击你？这有点像先吃鸡肉或鸡蛋。
其次，会有大量未收集的数据。这里的问题是你不看数据，但你根本不收集数据。您将登台服务器联网，上帝知道这些日志中发生了什么。如果您不使用数据甚至查看或收集数据，则无法建立强大的网络安全态势。
除了未查看的日志文件，人们是否仍然会在其他地方查找黑暗数据？
塔利：当然。我想人们携带各种设备连接到企业网络。就个人而言，我每天都会带四到五台设备到办公室，这些设备都连接到互联网。考虑到这些设备的短期性质，我认为它们很快就会在线和离线，并且很容易生成黑暗数据。我想知道公司是否会使用这些数据。
这些BYOD设备中包含哪些黑暗数据？
Tully：您的个人设备，手机和平板电脑。我不时带着我的个人笔记本电脑去做一些无法正常工作的事情。但人们正在连接互联网；他们正在下载东西；他们可能会把恶意软件带到办公室；这些设备会生成大量日志。您希望能够检测这些客户端在网络上正在做什么以及他们正在查看什么，以及他们带来的恶意病毒。
黑暗数据是否容易受到攻击者攻击而公司未检测到？
Tully：我认为公司正在录制或收集的任何数据，无论是否是黑暗，都容易受到攻击者的攻击，因此我认为答案是肯定的。这些数据具有风险因素，它们处于休眠状态，攻击者希望利用它们。
人们对黑暗数据应该做的第一件事是什么？识别，组织和存储，或者他们应该考虑是否能够或应该使用它？如果他们不需要它，他们应该找到消除它的方法。数据？Tully：所有这些问题都可以归结为公司需要更好的数据管理。本周，我参加了华盛顿特区的几次小组讨论。其中一个问题是：“现在大数据世界面临的最大挑战是什么？”除了集成多个系统以从开源世界获得合理的解决方案之外，那些成功企业的人通常拥有强大的数据管理流程。也就是说，知道正在收集哪些数据，如何收集数据，数据中涉及的PII [个人身份信息]，然后确定谁在使用数据及其目的，以及如何使用数据。
数据管理在帮助客户控制黑暗数据方面非常有效。
公司应如何处理所有这些黑暗数据？
塔利：首先要确保他们正在收集数据。记录大量数据但未收集，数据变为僵尸数据，然后由于日志过期而逐渐删除。
公司应该做的是为这些数据部署强大的数据管理。数据将过期；确保PII应用于数据；然后，教内部员工新技能，以帮助他们应对数据。
在我们的调查中，商业领袖表示，恢复黑暗数据的主要障碍是数据量和缺乏必要的技能。这里的解决方案之一是提供培训。我经常看到这种情况，无论数据是否暗，大量数据都会压倒企业。当大多数分析师使用此数据时，它将以仪表板的形式显示。通常情况下，仪表板会让人感到不知所措，他们觉得有点不愿意深入挖掘这个仪表板环境。
这里更多的是学习新技能并确保您拥有强大的数据管理。
人们应该学习哪些主要技能来处理这类数据？
Tully：其中之一就是更好地了解这些数据是如何生成的。了解数据如何到达当前位置以及数据背后的人员。同时，与数据相关的人员交谈并了解流程，以便他们能够更好地帮助他们接受挑战，以获得不同格式的数据或不同的报告。
此外，编程技巧也非常重要。如果要以不同方式查看仪表板，您需要做的一件事是使基础数据集脱机并进行一些轻量级编码。一些轻量级的Python，一些轻量级的R-甚至将数据放入具有足够数据的Excel中，并且可以为它编写宏，这些基本方法足以处理这种数据。
中文
电话咨询
微信咨询
公众号
