您当前的位置:首页 > 互联网百科 > 大数据

数据网格2.0:兑现去中心化的承诺

时间:2023-09-07 11:53:45  来源:51CTO  作者:

译者 | 布加迪

审校 | 重楼

“数据网格”正迎来重大时刻。通过谷歌新闻粗略地搜索一下,你会看到几十个相关的结果,而且种类繁多。随着众多新技术不断进步,这种情况正在发生。此外,连大有希望的学科也会迅速销声匿迹,一些学科在没有达到最初效果的情况下却存活下来。这是变化万千的领域,迅速变化是一个永恒的主题。但即使有这些警告,数据网格这种不断发展的架构可能也值得关注。

即使从数据驱动的业务实践方面的正常变化来看,数据网格似乎也为重大变化提供了真正的潜力。我们不断迈向真正以数据为中心的文化;在这种环境中,每一个战略决策和业务运营都由可操作的情报作为指导,这些信息是通过实时分析海量原始数据获取的,数据网格可能会成为重大的里程碑。

问题是,这样一种关键的旅程由许多里程碑组成,正如没有哪种单一的技术解决方案可以一应俱全。数据网格是坚实的基础,但是如何将它与其他方法结合起来以提供更大的好处?如果数据网格这么好,数据网格2.0会是什么样子呢?

先介绍一下背景。虽然数据网格常常与数据湖和数据仓库归为一类,但它实际上并不属于这一类。数据湖和数据仓库本质上是用来存储或移动数据的技术;相反,数据网格直接关注数据本身。这种架构更容易使数据所有权能够分布在多个以业务为中心的领域和相似的用户群,而不是单一的集中式权限。这种民主化带来了众多相关的好处,从跨异构基础设施的分析到根据业务需求进行扩展,不一而足。

在最好的情况下,这代表一种非凡的愿景。在数据网格中,数据不再由新一代的精英专家和管理员囤积;业务专业人员可以访问它来帮助完成工作。本来就始终应该是这样。

但最好的还在后头。去中心化架构的广阔前景远未实现。当然,已经有了一些实施和项目,但它们的应用范围比较有限。“数据网格成功案例”一栏几乎空白。

我们可以做得更好,而这始于几个核心原则。

首先,需要在完整的上下文中理解基于领域的数据所有权这一概念。这不仅仅是集中式权力结构的变化,还意味着数据不再属于特定的应用程序或监督这些应用程序的技术人员,而是属于业务本身。新兴技术将数据与创建或存储数据的应用程序分离开来,它们是做到这点的最佳方法——这些解决方案如今在市面上可以找到。这是具有重大影响的根本性变化,需要对由来已久的最佳实践进行重大改变。

其次,企业需要具备能够将数据作为产品来管理。这不再是复杂技术的附带输出——数据而是一种特定的、可识别的、离散的产品,可以由一个或多个业务领域单独拥有和管理。更准确地说,我们谈论的是数据产品,不是一个产品,而是多个产品,开发所有产品是为了支持分析系统和操作系统。这是革命性的,尽管它只是从另一个层面实现了我们长期以来的愿景,即数据作为一种企业资产,可以与其他更有形的资源共同占有一席之地。

接下来,想象一下自助式数据平台的好处。这构成了元数据驱动的数据浏览器,业务用户和技术人员都可以用它来进行协作,比如发现、访问、改变、创建甚至生成数据,而无需生成新的孤岛。毫无疑问,数据集成是数字时代的基础:存储在企业内部的海量数据被存放在(或者更确切地说被锁放在)孤岛中,数据在孤岛中是安全的,却是隔离的。整理来自不同孤岛的相关数据无疑很痛苦。这非常基本,也非常普遍,所以这些数字仍会让人感到惊讶,但是与集成相关的任务可能会消耗一半的IT预算。借下一代数据平台推动的数据网格架构对于消除这个问题大有助益。

最后,还有联合计算治理问题。在与安全和合规相关的一系列规定和法规要求更强的治理环境下,这种高瞻远瞩的解决方案提供了将来自数据产品和业务领域所有者的治理策略嵌入到数据本身中的能力。这带来了巨大的操作优势:无论最终用户如何体验数据——不管设备或其他接触点如何,不管涉及什么应用程序,也不管来自任何位置,都能保证权限、控制、策略和隐私依然一致。

虽然这些原则不同于数据网格方法的核心,但它们完美互补。能够实现真正数据民主化的去中心化架构具有不可抗拒的吸引力,现在业务用户而不是IT部门决定购买什么硬件、使用什么软件和下载哪些应用程序,业务部门和公司高管越来越有权力决定该分析什么数据,以及开发什么自定义数据产品以满足业务优先级。

数据网格已经存在了很长时间,我们已经看到了它的好处,并意识到需要数据网格2.0。未来肯定会有更多的进步。但就目前而言,这种架构的下一次迭代将使我们比以往任何时候更深入地走向以数据为中心的环境。

原文标题:Data Mesh 2.0: Realizing the Promise of Decentralization,作者:Karanjot Jaswal



Tags:数据网格   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
一文讲清数据集市、数据湖、数据网格、数据编织
在今天的数字时代,企业每天都在应对来自四面八方的海量数据。随着对强大的数据管理和分析需求的增长,数据仓库、数据湖和数据网等概念已成为有效的解决方案。这些方法有助于企...【详细内容】
2023-09-27  Search: 数据网格  点击:(304)  评论:(0)  加入收藏
数据网格2.0:兑现去中心化的承诺
译者 | 布加迪审校 | 重楼“数据网格”正迎来重大时刻。通过谷歌新闻粗略地搜索一下,你会看到几十个相关的结果,而且种类繁多。随着众多新技术不断进步,这种情况正在发生。此外...【详细内容】
2023-09-07  Search: 数据网格  点击:(74)  评论:(0)  加入收藏
围绕数据网格的巨大争议:成功还是失败?
译者 | 李睿审校 | 重楼数据网格作为一种新的数据管理方法,在业界越来越受到关注。然而在兴奋之余,人们对其复杂性以及能否兑现承诺表示担忧。本文将深入探讨数据网格的复杂性...【详细内容】
2023-08-16  Search: 数据网格  点击:(297)  评论:(0)  加入收藏
jQuery EasyUI 数据网格 - 设置排序
本实例演示如何通过点击列表头来排序数据网格(DataGrid)。 数据网格(DataGrid)的所有列可以通过点击列表头来排序。您可以定义哪列可以排序。默认的,列是不能排序的,除非您设置 so...【详细内容】
2022-09-22  Search: 数据网格  点击:(400)  评论:(0)  加入收藏
▌简易百科推荐
大数据杀熟何时告别“人人喊打却无可奈何”?
2月7日郑州飞往珠海的航班,不同手机、不同账号搜索该航班显示出不同价格。图源网络有网友近日分享在某平台的购票经历,引发社会广泛关注——用3个账号买同一航班同...【详细内容】
2024-01-30    中国青年网  Tags:大数据杀熟   点击:(32)  评论:(0)  加入收藏
简易百科:到底什么是大数据?
随着互联网的快速发展,大数据已经成为了当今社会最热门的话题之一。那么,到底什么是大数据呢?首先,我们需要明确大数据的定义。大数据是指数据量极大、类型繁多、处理难度高的数...【详细内容】
2024-01-30    简易百科  Tags:大数据   点击:(40)  评论:(0)  加入收藏
数据采集新篇章:AI与大模型的融合应用
开篇在AIGC(人工智能与通用计算)应用中,大型语言模型(LLM)占据着举足轻重的地位。这些模型,如GPT和BERT系列,通过处理和分析庞大的数据集,已经极大地推动了自然语言理解和生成的边界...【详细内容】
2024-01-17  崔皓  51CTO  Tags:数据采集   点击:(50)  评论:(0)  加入收藏
挑战 Spark 和 Flink?大数据技术栈的突围和战争
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或...【详细内容】
2024-01-17  InfoQ    Tags:大数据   点击:(40)  评论:(0)  加入收藏
分布式存储系统在大数据处理中扮演着怎样的角色?
如果存储节点本身可以定制,则通常会让其支持部分计算能力,以利用数据的亲和性,将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储,无法定制,则通常会将数据在计...【详细内容】
2023-12-19  木鸟杂记  微信公众号  Tags:大数据   点击:(48)  评论:(0)  加入收藏
大数据如何实时拯救生命:车联网的数据分析有助预防交通事故
译者 | 李睿审校 | 重楼车联网(IoV)是汽车行业与物联网相结合的产物。预计车联网数据规模将越来越大,尤其是当电动汽车成为汽车市场新的增长引擎。问题是:用户的数据平台准备...【详细内容】
2023-12-19    51CTO  Tags:大数据   点击:(41)  评论:(0)  加入收藏
利用生成对抗网络进行匿名化数据处理
在互联网时代,数据日益成为人们的生产资料。然而,在某些情况下,我们需要分享数据,但又需要保护个人隐私。这时,匿名化技术就显得尤为重要。本文将介绍利用生成对抗网络进行匿名化...【详细内容】
2023-12-18  技巧达人小影    Tags:数据处理   点击:(57)  评论:(0)  加入收藏
盘点那些常见的数据中心类型,你知道几个?
在数字化潮流的浪潮下,数据中心如同企业的神经系统,关系到业务的稳健运转。而在这个巨大的网络中,各种数据中心类型如雨后春笋般崭露头角。从企业级的个性至云数据中心的虚拟化...【详细内容】
2023-12-07  数据中心之家  微信公众号  Tags:数据中心   点击:(65)  评论:(0)  加入收藏
数据中心的七个关键特征
随着信息技术的不断演进,数据中心的可靠性、可扩展性、高效性、安全性、灵活性、管理性和可持续性成为业界探讨的焦点。下面让我们一同深入剖析这些关键特征,了解它们是如何影...【详细内容】
2023-12-06  数据中心之家  微信公众号  Tags:数据   点击:(63)  评论:(0)  加入收藏
什么是数据解析?将数据转化为更好的决策
什么是数据解析?数据解析是一门专注于从数据中获取洞察力的学科。它包含数据分析(data analysis)和管理的流程、工具和技术,包括数据的收集、组织和存储。数据解析的主要目的是...【详细内容】
2023-12-06  计算机世界    Tags:数据解析   点击:(62)  评论:(0)  加入收藏
站内最新
站内热门
站内头条