在本次新冠肺炎疫情防控战中,“云计算+大数据分析”发挥了至关重要的作用,对疫情态势研判、疫情防控部署以及对流动人员的疫情监测、精准施策有重要的支撑作用。与此同时,“云+大数据分析”也进一步加快了企业数字化转型升级的步伐。
日前,阿里云、腾讯宣布将斥资千亿元用于云上数据中心建设,新生代互联网公司快手也宣布投建首个云上大数据中心,云+大数据分析作为基础设施的融合性应用建设再次提速。
那么,云上大数据分析如何帮助不同用户以低成本挖掘数据价值?有哪些厂商基于哪些路径在推动云上大数据分析的基础设施建设?一直以来制约行业企业上云的痛点解决了吗?
以低成本挖掘数据价值
云计算与大数据的关系就像一枚硬币的正反面一样密不可分。基于云计算的分布式数据库、云存储、虚拟化技术进行大数据分析,能让不同类型用户以更低门槛进行数据的分布式收集、过滤、处理、分析、存储工作,挖掘数据价值。
大数据非在云端进行不可?中国软件评测中心云计算测评部总经理李安伦对《中国电子报》记者说,大数据业务其实分为云化和非云化两种,非云化的大数据分析在数台造价昂贵的高性能计算机上完成,这并不是每一家公司都能负担得起的。这样一来,大数据分析的门槛变得很高,参与者少了,产业也无法真正发展起来。
南京大数据研究院院长、中国大数据应用联盟人工智能专委会主任刘鹏在接受《中国电子报》记者采访时表示,云端能为大数据提供可以弹性扩展、相对便宜的存储空间和计算资源,海量数据在云端实现挖掘,不需要把数据搬来搬去,节省了中间的多种成本,可以让中小企业像大型企业一样通过云计算来完成大数据分析。
“事实上,大数据分析需要的是海量的高价值数据,以匹配相应的模型做出预测和分析。因此,一些作为市场配置要素的高质量数据会率先作为重要的战略资产上云,产生数据经济效应,带动产业发展,帮助企业实现增收。”李安伦指出。
什么样的业务需要挖掘数据价值?北京大学大数据科学研究中心研究员刘云淮向《中国电子报》记者指出,需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产,以商业智能(BI)和人工智能(AI)为典型。对于商业智能而言,云端大数据分析能帮助企业明确业务需求、数据结合与关联、培养数据分析人才。而AI的迅速崛起则是依赖数据的爆炸和计算能力的爆炸,这需要强大的大数据处理能力。有了各行各业基于AI识别技术和深度学习的爆发式需求推动,将更加稳固云端大数据分析作为基础设施的重要地位。
企业上云意愿增强
当前,云+大数据分析已经由最初的商品化、平台化,发展到生态化的阶段,每个有能力、有体量的厂商都在基于云计算布局自己的大数据生态。正所谓“得数据中心者得云天下、得生态者得天下”。“然而,某个企业的力量再强大终究无法推动整个产业的发展,只有进一步开放、降低门槛,才能借助各方力量丰满自己的生态。”李安伦表示。
云端大数据分析最重要的价值是基于数据模型进行分析和预测,从目前来看,有此类业务诉求的行业企业,应用云端大数据分析的意愿最为强烈,其中包括政务、工业、商业智能。
政务方面,近两年多地设立大数据管理局等相关管理机构,不断加强使用云+大数据的规划设计,致力于提升治理能力和现代化能力。兰州市在政务大数据平台的帮助下,在线办理事项已经超过660项,可办率达96.77%。福州市行政服务中心增设了“政务数据”栏,能够反映该类窗口的当前等待人数、平均排队时长、平均受理时长等,方便市民安排办事时间。
工业方面,我国部分工业企业通过多年的信息化改造,已经有了海量可以沉淀的数据,数据质量大幅提升。三一重工通过自主研发的大数据储存与分析平台,将20多万台客户设备实时运行情况的40TB数据通过传感器传到后台进行分析和优化。而德国作为工业4.0概念的提出者,在工业大数据领域走在了前列,西门子、博世具有强大的云端大数据中心,近千个制造单元仅通过互联网进行联络,大多数设备都在无人力操作状态下进行挑选和组装。
商业智能方面,自然少不了国内外云计算巨头厂商的身影。作为最大的电商平台之一,亚马逊运营团队每次跟踪的数据以PB为单位。2019年,亚马逊开始布局全球最大的物流网络——数据湖。一来将多个数据中心组合成一个超大数据中心,打破运营团队间控制的数据隔阂,获得完整研判图像;二来有助于加速AI机器学习进程,使得其能从现有数据中学习统计算法作出有关新数据的决策,提高推理的准确性。
微软Azure大数据服务也越来越具吸引力,其构建的大数据分析基础设施提供了信息管理、存储、机器学习、分析和认知服务的能力。企业可以在Azure市场中从大数据和高级分析合作伙伴中访问应用,降低用户享受云上大数据分析业务的门槛。
除了这些云计算的“老字号”,一些“后浪”也不断跻身这个市场。在我国,今年6月,短视频平台快手公司宣布投资百亿元打造智能云大数据中心项目。由于“直播+短视频”已经成为各行业数字化转型的重要方式之一,快手通过自建大数据中心的方式将其短视频和直播业务的海量数据分析搬到云上,把握用户各维度数据的分析和预测能力,使其长期保有业务优势。
数据安全掣肘产业发展
云+大数据分析的应用场景现在已经逐步清晰,我国各行业都面临着转型的关键时期。在新基建背景下,云+大数据已经走到了加速落地阶段,可以预见未来将带动一批又一批的业务上云。
数据显示,截至2019年,我国各行业企业上云率仅有40%,远低于欧美国家。在赛迪顾问大数据产业研究中心高级分析师张凡看来,对于传统企业来说,重构传统业务系统的难度较大,上云将会导致企业业务架构的大幅改变,主要对自身业务系统进行重新梳理,并协调其中的利益关系。对于部分愿意上云的企业来说,他们仍然会选择分环节上云,率先将人力资源管理、市场宣传等数据效能较低的环节上云,而财务等关键环节暂无上云意愿。这是因为云服务商还没能解决上云数据的所有权、数据安全、数据滥用等问题。
IaaS提供商的基础设施是云服务商自己建立的,具有良好的扩展能力,但这种架构解决方案的挑战是底层组件通常没有为多租户架构提供强大的隔离措施,会给上层的客户机操作系统或底层平台带入隐患,造成数据所有权不明确,极容易遭到泄露和滥用。Facebook接连发生了两次数据泄露事件,波及范围非常大,造成了极大的损失。企业的顾虑不无道理。
对此,李安伦表示,对于云服务商来说,要制定一套更加完整、全面的数据安全解决方案,从数据存储持久性、数据可销毁性、数据安全性、数据所有权几个方面为用户建立防护技术,并做好大量的安全认证工作;对于上云企业来说,应该与服务商共同承担数据安全保护责任,从监控、入侵防御、数据备份、加密部署等多方面做好安全措施。此外,国家从政策层面也要加强数据安全顶层设计,进行数据资源确权,明确哪些数据能对社会或他人开放应用,这样才能使云计算和大数据的融合1+1大于2。