如何释放非结构化数据的价值？

人们正在从不断产生的数据中挖掘着价值，作为新的生产要素，数据量越大将代表着人工智能将越智能。

因此，人们渴望从大量的数据中挖掘出价值，在此前，对于数据潜能的挖掘的最大限制就是算力，而现如今，存储日益成为一大限制因素。

随着非机构化数据的的不断涌现，存储这一限制则越发明显，而据Gartner数据显示，目前全世界80%的数据是非结构化数据；同样，IDC也预测，截至到2023年，文件和对象数据的容量将增长3倍，且90%的新企业的应用将是基于云原生设计的。

而这也就对非结构化数据的存储、使用和管理提出了更高要求，同时也对存储基础设施的性能和可扩展性提出了前所未有的挑战。

给企业用户提供一个高效、高可用、高可靠的存储产品，则成为了存储厂商发力的重点。

对象存储成为企业“新宠”

“今天的非结构化数据可谓‘无处不在’”。

在戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶看来，企业和机构的非结构化数据主要就有三大部分：

• 一是IT部门管理的数据，包括文件共享，主目录，文件档案库，甚至包括视频监控；

• 二是行业应用的数据，包括媒体里面有4K编辑、播出系统和媒资系统，生命科学有基因测序分析、石油能源、气象、地震的高性能计算，EDA、ADAS（汽车自动驾驶辅助系统），银行影像系统等等；

• 三是大量的新兴业务产生的数据，特别是随着企业采用新的应用架构、微服务、容器等技术，传统的存储解决方案和数据库无法提供这些新应用和新架构所需的简易性和灵活性。

在这一背景下，对象存储由于主要操作对象是对象（Object），它既能够像块存储一样高效检索，又能像文件存储一样极致扩展，结合了块和文件存储的优势，受到了市场不断的认可。其存储协议，也是大家熟知的S3、Swift等。

戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶

胡渊汶表示：“对象存储由于其具有高扩展性和易管理的特性，作为企业存储战略的关键元素，对象存储已经成为更多企业在数字化转型中的第一选择。”

同时，越来越多的公有云厂商把对象存储当做“云存储”在售卖。

但在实际应用中，虽然公有云的对象存储服务有其优势，但考虑到安全合规以及带宽成本等问题，企业倾向于部署企业私有的对象存储方案。

胡渊汶介绍说，在企业私有化部署场景中，对象存储主要有两类用法，一类是面向传统场景提供归档存储。另外一类，面向现代化的应用程序，比如互联网大数据分析、AI等场景，比如云原生架构这类负载。

第一类用法利用的是对象存储低成本以及写入少读取多（WORM）的特性；第二类主要利用其高扩展性和高灵活性的优点，更为关键的是，就是其存储协议支持S3，而大多数现代化应用和云原生应用都能够兼容S3，这就让对象存储有了更多的“用武之地”。

此外，为了克服对象存储性能上的不足，业内近几年来开始尝试用全闪存来提升性能，性能型的对象存储成为趋势后，应用场景将进一步扩大。

企业需要什么样的对象存储产品？

当前，对象存储越来越快的走入到了企业的应用场景之中，并在各个方面担当“重任”。

随着非结构数据呈现指数级的增长，对于面向企业的对象存储产品提供了更多更高的要求。

基于对企业用户的需求，戴尔科技集团更新了旗下的企业级对象存储平台——戴尔易安信ECS。

据胡渊汶介绍，ECS采用横向扩展式架构，在容量、对象数量、文件规模或节点数量等方面无限制，因此无论行业客户的数据中心位于何处，都可以轻松跟上指数级数据增长的步伐，同时也只需以类似于公有云的规模添加新节点和支持工作负载，就能同时实现私有云基础架构的可靠性和控制。

由此也实现了更好的TCO成本，数据显示，与行业领先的公有云提供商相比，通过ECS构建一个对象存储云，总拥有成本可降低59.5%。

同时，它还具备全球可访问能力，支持8个站点的虚拟数据中心的联合；此外，ECS采用Active-active架构，支持XOR等能力，也带来更加简化的管理；ECS还能充当二级存储，为关键业务应用释放昂贵的主存储资源。

在存储协议方面，ECS支持包括S3、NFS、SMB、CIFS、Swift、CAS、ATMOS、HDFS等多协议，同时也能通过RESTful API来支持云原生的应用，这样就能适应目前企业往云原生转型的趋势；更为关键的是，多协议支持和良好的互操作性，企业也可以借助ECS构建现代数据湖，进而通过数据湖实现Splunk分析，以及流数据分析存储等能力。

在数据安全保护方面，ECS内置了数据保护功能，具有静态数据加密、纠删码、三重镜像等功能，能够使得存储平台安全性增强，同时还新增了更多的安全能力，包括支持新的安全管理员角色，能够将特定的使用权和特权授予安全管理员；提供了新的安全API，不仅方便自动化地报告安全设置，同时企业也能将ECS整合到已有的安全解决方案中；此外，也支持外部的密匙管理器，帮助企业满足合规要求。

在部署方面，ECS支持软件定义模式部署，也可以通过一体机这种“交钥匙”的方式部署，同时服务供应商也能通过ECS提供相应的部署，灵活的部署方式，可以让企业拥有更好的可扩展性、性能、弹性和经济性，真正满足了企业现代化应用的需求。

除此之外，ECS还能够定制元数据，内置元数据搜索功能，可以支持多达30个元数据字段，不但可以快速轻松定位数据，也能支持元数据更加精细的搜索。

值得注意的是，ECS还具有强一致性的多站点访问能力，能够通过全局命名空间，让任意数据可以在任意站点进行读写，支持应用访问无缝切换。

“ECS的多站点和强一致性能力，能够给前端业务带来很大的便利性，不需要处理很复杂的一致性的关系，就能实现数据的完整性、数据一致性的保证。”戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁说到。

对象存储如何实践应用？

随着云原生相关理念的逐步升温，越来越多的企业都将目光瞄向了对象存储。

据IDC《2020年Q2，中国软件定义存储及超融合存储系统市场季度跟踪报告》显示，SDS在2020年上半年较去年同期实现38.3%增长，其中对象存储出货比例增长46%，超过软件定义存储市场总体增长率，对象存储是存储市场增长的新动力。

这表明着越来越多的企业都开始选择使用对象存储，据胡渊汶介绍，海通证券利用ECS对象存储的扩展性建立了存储资源池，不仅降低了初期成本投入和TCO ，还解决了传统磁带库性能低下、可靠性不足等问题，同时还获得了数据全生命周期管理能力，更为后续在业务中融入人工智能等技术做好了准备。

胡渊汶认为，企业在对旧的定制应用系统做现代化改造时，最好的做法是改变应用使用存储的方式。

因为基于NAS文件存储来开发传统应用的体系其实非常复杂，有几个应用就需要对应有几套文件系统，甚至还有五花八门的专有API，这导致应用开发和存储管理的成本都很高。而且，许多应用都只能本地使用，无法以Web应用和移动应用方式来访问，非常不现代化。

现代化的云原生应用中直接使用对象存储来存储数据，数据绕过Web服务器，直接通过API存取数据到对象存储，开发过程简化。而且对象存储的管理成本很低，一个人就能轻松管理PB级的数据。配合对象存储，云原生架构会使得企业软件的开发迭代速度变得非常快。

从胡渊汶的介绍中了解到，国内某大型商业银行的手机银行有许多新应用需要大量频繁迭代，于是，该银行逐步把这部分业务转型为云原生业务，底层存储中采用了ECS，存放着超过100亿个对象，每天大概要接受2亿左右的请求，在ECS之上部署了200多个应用。

该银行的应用开发部署的节奏明显加快，最多一个季度上线了50个应用这在以前是不可想象的，这是云原生架构以及对象存储技术的价值体现。（雷锋网雷锋网雷锋网）