您当前的位置:首页 > 互联网百科 > 大数据

工业智能时代,无处安放的数据

时间:2020-07-30 09:55:24  来源:  作者:

 在工业4.0、智能制造等战略带动下,物联网5G、云计算以及人工智能等新一代信息技术正在加速与传统工业融合。越来越多企业依托物联网将人、机、物连接起来并进行数据采集。同时,借助5G、云计算和人工智能等技术进行数据的传输、汇聚、计算和分析,工业智能场景的落地导致数据量的急剧增长,也正在推动的企业转型升级带来巨大挑战。

工业进入数据洪流时代

  过去30年,企业利用CAX、PLM、ERP、OA等信息化软件解决了产品研发和运营管理过程中的诸多需求,以及利用MES、APS部分地解决了生产管理过程中的需求,如生产资源管理和调度,但若再想进一步深入到工业现场,对机器和设备进行管理控制,则显得无能为力。

 

  当物联网、5G、人工智能等新一代信息技术的逐渐成熟并融入到传统工业生产,信息化时代未解决的问题正在逐一被突破。企业利用物联网对工业现场的人、机、物进行连接,并利用边缘计算平台对关键设备数据进行采集、汇聚和分析,实现与上层业务系统数据对接,以及通过云边协同实现数据共享互动,形成一个涵盖研发、运营、生产到销售的完整工业链闭环,而这也成为数字化和智能化实现的基础。

 

  从信息化到智能化,笔者总结了两点变化:一是对象从“人”到“物”的转换,二是场景从“办公区”到“生产区的转移。信息化解决了“人”的行为管理问题。而智能化则解决了“物”的运行控制问题。以往用一台电脑就能解决的问题,现在必须加上工业系统和自动化设备,而IT与OT在标准体系架构的不同,使得两者融合变得复杂和困难。

 

  当业务边界向下延伸时,也带来了更大问题,即企业获取的数据不如以往规整,非结构化数据越来越多,生成频度更高,很多数据需要及时获取和分析。更麻烦的是,工业过程产生的数据远超以往。

 

  IDC预计,到2025年,设备实时数据量将是2017年的200倍,达到惊人的49ZB,而随着工业智能化的发展,其中非结构化数据的占比将越来越高。对企业而言,每时每刻产生的工业数据正在存储管理和数据库带来的巨大压力,已经成企业智能化转型必须优先解决的问题。

 

  传统数据库已无法胜任

 

  十年前,当笔者还在做程序员时,每当来了新需求,首先需要做的就是评估用什么开发语言和数据库?那时候用的最多的是Oracle、MySQL和SQLServer,这些关系型数据库能面向用户提供功能交互服务,适用于数据生成频度低,以SQL索引表存储的结构化数据。

 

  而当我们迈入智能化时代,面向越来越多的工业场景App开发需求,是否还能使用传统关系型数据库?答案显然不行。原因主要有三点:

 

  第一,数据结构不一样。信息化时代,一部电脑打天下,所有软件产品都是构建在通用操作系统和标准化硬件架构之上,只有符合X86+windows平台标准,软件应用才能运行,所产生的数据都是结构化数据。然而,在工业场景中不存在统一的操作系统和体系标准,异构的工业系统和设备会产生许多不同形态的数据,大多是非结构化的,传统关系型数据库根本无法支撑。

 

  第二,工业领域大多是实时性较高的业务场景,传统信息化系统运行过程允许宕机,但工业场景不允许。特别在流程行业,生成过程是连续性的,而数据采集也是时序数据,任何中断都可能产生巨大的安全风险。随着接入设备越来越多,企业需要采集和处理实时、时序数据量越来越大,这需要能管理海量设备实时专业数据库,传统关系型数据库无法做到这一点。

 

  第三,在工业智能化的推进进程中,需要对海量工业数据进行管理、存储和分析,将大量不同类型的工业数据进行聚合归类是实现智能化分析的基础前提。传统关系型数据库对数据的聚合性分析性能较差。对时序数据的压缩比较低,且需要占用大量的机器资源。

 

  目前,领先的工业数据库企业不仅拥有专业的压缩算法,还充分考虑海量数据实时分析的聚合性能。国内麦杰科技推出的openPlant数据库就拥有专门的实时数据压缩算法,比传统关系型数据库降低90%,通过对写入、存储、查询等流程进行了优化,实时数据库性能可达传统数据性能的1000倍以上。

 

  做实时数据库的领航者

 

  2019年在某全球知名电气设备公司官方数据库评测报告中,提供了一则openPlant 和 PI的客户测试实例,前者是国内实时数据库公司麦杰科技面向工业互联网平台应用的主打数据库,后者是世界最知名的实时性能管理软件OSI Soft 的数据库产品。

工业智能时代,无处安放的数据

 

在针对实时数据检索的线程测试中,openPlant实现每秒240万测点的读取,而PI则是每秒1万测点的读取。在针对历史数据分析检索的线程测试中,openPlant实现每秒280万记录的读取,而PI则是每秒9万记录读取。测试结果显示,openPlant读写平均响应时间要远低于PI,这说明,openPlant数据库具有更高的并发读写性能。作为完全自主创造的国内实时数据库产品,实现了对国外顶尖产品的超越,麦杰科技到底如何做到的?

 

  麦杰科技成立于2000年,是一家专注于工业实时数据管理技术的研究和应用的企业,openPlant实时数据库产品集成了麦杰科技多年在工业领域研发成果。openPlant实时数据库能实现对国外顶尖产品的超越,主要源于多年工业实时数据管理技术研究和产业经验,让麦杰科技深悟企业的痛点和需求,并结合问题不断优化改善。

 

  openPlant实时数据库性能全球领先的三大核心技术包括:智能数据压缩技术、数据库容量单机性能以及独有的数据传输技术。

工业智能时代,无处安放的数据

 

首先,麦杰科技的智能数据压缩技术能让存储压缩比达到200以上,无损压缩、有损压缩、智能压缩三种模式能根据用户需求自主选择,在有效保障数据精度的前提下最优数据存储空间。

 

  其次,openPlant实时数据库单机容量可达千万级,并支持分布式无限扩容,采集频率与数据源同步,单机实时处理性能达到1000万事件/秒,100万数据点访问耗时小于400毫秒,支持超过2000用户并发访问。

 

  第三,独有的数据传输技术不但可在复杂网络环境下对实时传输的数据进行追踪、校验及补发,确保数据的完整性和有效性,为数据分析的准确性提供强有力的保障,同时在传输过程中可实现10倍以上数据压缩,帮助企业节约90%以上的流量费用,减低应用成本。

 

  为保证使用过程的高可靠性、高可用性以及多平台支持能力,openPlant实时数据库支持单机、双机、分布式和HA等部署方式,以及数据交叉映射功能,满足多种灾备应用场景。openPlant实时数据库提供完整的信息安全策略、客户自定义加密策略和专业技术加密的方法,贯穿于数据的采集、传输和访问全流程,并通过公安部的数据安全认证。

 

  随着中国产业升级与转型进入关键时期,发达工业国家开始逐渐收紧对中国企业使用工业软件权限的控制,发展自主的工业软件已成当务之急。作为工业软件的核心基础软件,高并发、海量数据管理的数据库长期被国外高端产品垄断把持,对中国智能制造的顺利推进形成了潜在的产业风险点。

 

  麦杰科技作为国内实时/时序数据库软件的领导者,其openPlant实时数据库不仅赶上并大幅超越了国外高端产品,为配合不断推进的工业软件全国产化进程,openPlant实时数据库还支持传统及虚拟化架构下的Unix、linux、Windows等主流操作系统,并全面支持国产芯片和国产操作系统,为中国企业智能化升级构建最坚实的“防火墙”。

 

  此外,面对快速推进的工业互联网发展进程,麦杰科技凭借为超过8000万台设备提供数据采集、存储和数据分析的经验,以openPlant实时数据库为基础,依托自身多年积累的工业大数据管理技术、云计算、边缘计算等技术打造开发了物联网一体化平台。从数据接入层、传输汇聚层、存储处理层、业务分析层、价值实现层五个层面排除工业互联网应用痛点,帮助企业降低至少60%的硬件投资,并大大缩短开发周期和建设费用,大幅降低后期运维成本。

 



Tags:数据   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
这是很久以前的一则数据,我在iOS平台开发了“先知 - 优质生活”App,本想依靠封闭式环境,广告少体验不错等优点。会有一定的下载量,没想到开发完成后,就被App store埋藏起来了。个...【详细内容】
2021-12-27  Tags: 数据  点击:(3)  评论:(0)  加入收藏
安装环境Linux服务器:Centos 6 64位Oracle服务器:Oracle11gR2 64位 系统要求说明:内存必须高于1G的物理内存;交换空间,一般为内存的2倍(1G的内存可以设置swap 分区为3G大小);硬...【详细内容】
2021-12-27  Tags: 数据  点击:(2)  评论:(0)  加入收藏
作者:雷文霆 爱可生华东交付服务部 DBA 成员,主要负责Mysql故障处理及相关技术支持。爱好看书,电影。座右铭,每一个不曾起舞的日子,都是对生命的辜负。 本文来源:原创投稿 *爱可生...【详细内容】
2021-12-24  Tags: 数据  点击:(6)  评论:(0)  加入收藏
为啥这几年偷税漏税的新闻这么多?不是偷的人多了,是因为国家有了查税大杀器: ...【详细内容】
2021-12-24  Tags: 数据  点击:(8)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  Tags: 数据  点击:(9)  评论:(0)  加入收藏
前言JDBC访问Postgresql的jsonb类型字段当然可以使用Postgresql jdbc驱动中提供的PGobject,但是这样在需要兼容多种数据库的系统开发中显得不那么通用,需要特殊处理。本文介绍...【详细内容】
2021-12-23  Tags: 数据  点击:(12)  评论:(0)  加入收藏
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的HasorDB 是一个全功能数据库访问工具,提供对象映射、丰...【详细内容】
2021-12-22  Tags: 数据  点击:(5)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22  Tags: 数据  点击:(10)  评论:(0)  加入收藏
作者丨Rafal Grzegorczyk译者丨陈骏策划丨孙淑娟【51CTO.com原创稿件】您是否还在手动对数据库执行各种脚本?您是否还在浪费时间去验证数据库脚本的正确性?您是否还需要将...【详细内容】
2021-12-22  Tags: 数据  点击:(3)  评论:(0)  加入收藏
读取SQLite数据库,就是读取一个路径\\192.168.100.**\position\db.sqlite下的文件<startup useLegacyV2RuntimeActivationPolicy="true"> <supportedRuntime version="v4.0"/...【详细内容】
2021-12-16  Tags: 数据  点击:(21)  评论:(0)  加入收藏
▌简易百科推荐
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(9)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(25)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(39)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  QD云龙    Tags:数据   点击:(33)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条