6

大数据的发展已经走到尽头了吗?

 2 years ago
source link: https://www.51cto.com/article/740924.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

大数据的发展已经走到尽头了吗?

作者：李源 2022-11-29 15:05:16
数据网格可以通过在更广泛的利益相关方之间驱动更高级别的自治和数据工程联盟，克服大数据中固有的许多挑战。然而，大数据并不是一种灵丹妙药，它为企业带来了一系列需要管理的风险。

​对于很多企业来说，数据是一个规模巨大的、几乎没有被开发的资源。很多机构和组织大多已经认识到，数据是一项关键资产，利用从企业数据中获得的洞察力比以往任何时候都更为重要。在实践中，创新者、颠覆者和初创企业在利用数据进行变革、竞争和赢得市场方面要灵活得多。而且，如果他们很好地利用了这些数据，那么他们获得更多的客户。他们很可能没有大企业拥有那么多的数据，但他们更有能力利用这些数据。

1803b9894ca30d26da96049628f6a688c7b20b.jpg

大数据是一个流行术语，它定义了一系列方法，许多企业都使用这些方法来开发解决方案，从而产生所需的洞察力。然而，根据Gartner公司和其他机构的统计数，大多数公司都未能通过大数据方法实现其目标。

大数据方法的核心是在企业的大部分数据中集中摄取、转换、治理和洞察。这将导致在有意义的时间范围内显著抑制业务价值交付的瓶颈。它非但没有促进数据流动，反而被扼杀了。

那么还有别的选择吗?  

如果有一种基于联邦制而非集权制的新方法来帮助企业获得保持竞争力所需的洞察力，那么会怎样? 

对于许多企业来说，数据网格方法解决了他们面临的挑战。数据网格的核心是一种基于软件工程的经过验证和测试的原则的数据联邦方法，许多企业已经将其应用于客户旅程开发。 

数据网格的三个原则

数据网格方法利用了现代软件工程的三个核心原则：

  • 自助软件平台

这些原则使数据解决方案的开发能够联合起来，从而可以更快地解锁重要的更大的洞察力，从而使企业能够实现业务价值。

（1）域所有权

这采用了当前的域建模原则，并在模型上添加了数据覆盖层。域模型是问题领域的关键概念/对象的可视化表示，是企业的最高级别。它分解一个企业，为业务功能和技术解决方案建立明确的所有权和边界。这使得基于微服务的软件工程方法能够驱动自治和重用。

同样的域模型可以在企业内部用于建立域数据集的所有权。每个数据集都应该属于创建/生成数据的域。目的是让每个数据集由单个域拥有，在需要的地方调整域模型以实现这一结果。

（2）产品开发

这表明，企业将数据视为产品，就像他们将客户旅程视为产品一样。

重点是客户想做的工作，以及帮助他们做到这一点的最佳解决方案。产品团队是一组具有多种技能的个人，他们将业务人员和技术人员聚集在一起，以尽可能地创造最佳的客户结果。

将这一应用到数据中，意味着理解企业中不同的数据角色，包括客户、内部业务用户、其他工程团队、B2B合作伙伴和监管机构。这将有助于定义针对不同用户组要做的工作，从而允许产品团队专注于解决每个用户组的挑战。与域所有权相一致的产品开发将为数据集和用户结果创建明确的问责结果，使团队能够保持步调一致。

（3）自助软件平台

数据的自助服务软件平台是实现数据网格方法交付结果所需的自主权和敏捷性的核心。在其核心，企业需要像云计算服务提供商一样思考，并创建一个API驱动的自助数据平台。该平台需要提供三组功能，首先是存储、数据库、访问控制等基础基础设施。工作流的工程工具，通过基础设施如代码和DevOps抽象出基础设施的复杂性。最后，该平台需要提供发现、法规遵循和监视的中央管理功能。

实现数据网格的三个原则有助于消除大数据方法中固有的瓶颈。有了数据平台，每个产品团队都可以定义他们要做的数据工作，并根据对企业的价值释放来确定不同用户结果的优先级。每个产品团队都可以在分配给他们的投资预算范围内自主快速地工作。

如何为成功做准备?

实现数据网格方法需要将领域建模和产品开发作为正常软件工程生命周期的一部分。成功地实现领域所有权和产品开发影响人员、技能和企业设计，这需要从高级利益相关者那里购买才能成功地实现。

许多企业已经在以这种方式对他们的企业进行改造，将数据网格方法作为更广泛的改造的一部分应该会减少实现数据网格所涉及的总体工作和成本。如果企业已经改变了他们的运营模型，那么数据网格方法是合乎逻辑的下一步，它可以从模型中获得更多的价值，并缓解大数据方法中固有的许多挑战。

成功实现数据网格的另一个关键因素是确保正确设置自助服务数据平台。这需要一些预先的思考来定义平台所需的功能、架构、团队技能和结构，以实现产品团队的自主权。它还需要一个理解自助服务平台的愿景并拥有实现它所需技能的团队。

最后，建议从小处开始。创建一个MVP自助服务平台，使一小组非关键数据集能够在企业环境中证明技术和操作模型。

大数据是灵丹妙药吗?

数据网格可以通过在更广泛的利益相关方之间驱动更高级别的自治和数据工程联盟，克服大数据中固有的许多挑战。然而，大数据并不是一种灵丹妙药，它为企业带来了一系列需要管理的风险。

了解了数据网格方法所带来的风险，制定了如何降低这些风险的计划，选择了支持自助服务平台的正确架构和支持愿景的利益相关者，企业利用数据的能力就可以发生重大变化。

Neil Mulholland自从2010年以来担任Enterprise Blueprint公司的首席架构师，自从20世纪90年代以来一直从事数字与集成架构工作。最近，他在帮助企业大规模采用敏捷方法方面发挥了重要作用，他关注的是架构和架构治理如何在这种环境中工作。

Neil认为，信任是通过展示专注于对客户最重要的事情的能力来获得的。理解客户的需求，实现他们想要的结果，对于确定成功的解决方案和建立长期、互利的伙伴关系至关重要。

Neil通过非正式和正式的架构团队指导为客户的企业做出贡献，帮助他们通过更好的解决方案和操作方法提高整个架构团队的技能。他非常喜欢尝试新技术，并学习如何最好地将其应用于解决客户问题，但不喜欢在引入新技术时出现陡峭的学习曲线，因为这会延迟真正的采用。​

责任编辑：华轩 来源： e-works

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK