抓住数据质量机会掌控未来

数据质量的影响

对于大多数公司而言，不良数据的成本占收入的比例达到惊人的 15% 到 25%。

在数据质量方面取得领先为提高业务绩效提供了绝佳机会。更好的数据意味着更少的错误、更低的成本、更好的决策和更好的产品。

每天，企业都会向客户发送产品，经理决定聘用哪个候选人，而高管则根据他人提供的数据制定长期计划。

当数据不完整、定义不明确或错误时，会立即产生后果：

●愤怒的客户;

●浪费时间;

●增加战略执行的难度。

根据 Experian plc的最新研究，估计不良数据的成本占大多数公司收入的 15% 到 25%。当人们通过更正错误、从其他来源寻求确认以及处理随之而来的不可避免的错误来容纳不良数据时，就会产生这些成本。

更少的错误意味着更低的成本，而减少错误的关键在于找到并消除错误的根源。幸运的是，在大多数情况下这并不太难。总而言之，我们估计这些成本中有三分之二可以被识别并永久消除。

关注数据质量的四个原因

1.当前数据质量水平极低;

科克大学商学院最近完成的一项新研究着眼于实际实践中的数据质量水平，并表明情况有多么糟糕。

75 位高管确定他们部门完成的最后 100 个工作单元——基本上是 100 个数据记录——然后审查该工作的质量。只有 3% 的数据落在“可接受”的误差范围内。近 50% 的数据记录存在严重错误。

换句话说，绝大多数数据是不可接受的，而且其中大部分是残酷的。除非您有相反的确凿证据，否则您必须假设您的数据具有相似的形状。

2.不良数据会立即产生后果;

几乎每个级别的每个人都同意高质量的数据对他们的工作至关重要。许多人不遗余力地检查数据，从二手资料中寻求确认并进行更正。这些努力构成了我所说的“隐藏数据工厂”，反映了对数据质量的应急性方法。以这种方式容纳不良数据会浪费时间、成本高昂且效果不佳。更糟糕的是，造成不良数据的潜在问题永远不会消失。

结果之一是，知识工作者将多达 50% 的时间浪费在处理普通的数据质量问题上。对于数据工程师来说，这个数字可能高达 80%。

第二个后果是错误、操作错误、错误的决策、错误的分析和错误的算法。事实上，“大垃圾进，大垃圾出”就是新的“垃圾进，垃圾出”。

最后，不良数据会侵蚀信任。事实上，只有 16% 的经理完全信任他们用来做出重要决策的数据。

坦率地说，鉴于上述质量水平，任何人都信任任何数据真是一个奇迹。

3.巨大的业务成本;

显然，错误数据导致的错误、时间浪费和信任缺失的代价很高。

公司将 20% 的收入用于处理数据质量问题。Experian研究数据表明：不良数据导致公司收入损失 23%、20,000 美元/不良数据的员工成本。和 Clear Strategic IT Partners 的 Spratt提供的数据也表明，不良数据会导致16% 至 32% 的浪费工作处理。

愤怒的客户和错误数据导致的错误决策给企业带来的成本是无法估量的——但却是巨大的。

最后，当一家公司不能依赖其数据时，要成为数据驱动型企业要困难得多。在数据空间中，一切都以质量开始和结束。您不能指望通过销售不良数据或许可不良数据来赚大钱。如果您不信任数据，则不应信任分析。你不能指望人们在做决定时使用他们不信任的数据。

4.通过提高数据质量，可以消除三分之二的成本。

“在数据质量方面走在前面”与当今大多数公司采用的被动方法形成鲜明对比。它涉及通过搜索和消除错误的根本原因来主动攻击数据质量。需要明确的是，这是关于管理，而不是技术——数据质量是业务问题，而不是 IT 问题。

投资修复不良数据源的公司——包括AT&T、荷兰皇家壳牌、雪佛龙和晨星——都取得了巨大的成功。它们使我们得出结论，可以消除 80% 或更多错误的根本原因；高达三分之二的可衡量成本可以永久消除；并且这种信任会随着数据的增加而提高。

哪些公司应该解决数据质量问题？

虽然攻击数据质量对所有人都很重要，但它对四种公司和政府机构来说具有特殊的紧迫性：

那些必须关注成本的人。例子包括零售商，尤其是那些与 Amazon.com Inc. 竞争的零售商；石油和天然气公司，在过去四年中价格下跌了一半；政府机构，其任务是少花钱多办事；和医疗保健公司，它们必须在控制成本方面做得更好。通过清除由不良数据造成的浪费和隐藏的数据工厂来削减成本比不分青红皂白地裁员更有意义——并在这个过程中加强公司。

那些寻求将数据用于工作的人。公司包括销售或许可数据的公司、寻求通过数据货币化的公司、更广泛地部署分析的公司、试验人工智能的公司以及希望将运营数字化的公司。当然，组织可以使用载有错误的数据来实现这样的目标，许多公司都这样做了。但随着数据的改善，成功的机会也会增加。

那些不确定数据的主要责任应该归于何处的人。大多数业务人员欣然承认数据质量是个问题，但声称这是 IT 的职责范围。IT 人员也欣然承认数据质量是一个问题，但他们声称这是业务领域的问题——以及一种不安的停滞结果。现在是结束这种愚蠢行为的时候了。高级管理层必须将数据的主要责任分配给业务部门。

那些厌倦了使用他们不信任的数据做出决策的人。更好的数据意味着更好的决策和更少的压力。更好的数据还可以腾出时间专注于真正重要和复杂的决策。

高级管理人员对于数据质量应有哪些行动？

根据我的经验，许多高管会找到理由对不良数据的展现出来的不良业绩结果打折扣甚至不理会。常见的说法包括，“这些数字似乎太大了，它们不可能是正确的”，“我在这个行业已经 20 年了，相信我，我们的数据是最好的”，以及“这是我的即使面对糟糕的数据，也能做出最好的决定。”

但我鼓励每位高管深入思考这些统计数据对他或她自己的公司、部门或机构的影响，然后制定解决问题的方案。鉴于自身独特的市场、能力和挑战，高级管理人员必须探索数据质量的影响。

第一步是将组织或部门最重要的业务目标与数据联系起来。哪些决策、活动和目标取决于哪些类型的数据？

第二步是建立数据质量基线。我发现很多高管都把这一步弄得太复杂了。一个简单的过程是选择第一步中确定的活动之一——例如建立客户帐户或交付产品——然后对组织最近 100 次进行该活动的情况进行快速质量审查。通常它可以由一个小团队在一两个小时内完成。

第三步是估计不良数据的后果及其成本。同样，缩小关注范围——需要关注成本的经理应该关注隐藏的数据工厂；那些专注于人工智能的人可以专注于浪费的时间和增加的失败风险；等等。

最后，对于第四步，估计如果您可以消除 80% 的最常见错误，您的组织将获得的收益——成本节约、风险降低、更好的决策。这些构成了您未来的目标。

很有可能，在您的组织看到仅由前几个项目产生的改进后，它会发现数据质量方面的机会比它想象的要多得多。如果你行动迅速，虽然糟糕的数据仍然是常态，你也可能会发现一个意想不到的机会，让你与竞争对手拉开距离。

本文来自微信公众号“TPP管理咨询”（ID:TPP-CONSULTANCY），作者：TPP管理咨询，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。