您当前的位置:首页 > 互联网百科 > 大数据

终于有人把工业数据采集讲明白了

时间:2022-05-24 15:39:18  来源:  作者:华章科技

导读:工业物联网感知层作为物理世界与数字世界的桥梁,是数据的第一入口。现实情况下,由于感知层数据来源非常多样,来自各种多源异构设备和系统,因此如何从这些设备和系统中获取数据,是工业物联网面临的第一道门槛。在工业领域,感知即通常所说的工业数据采集。

作者:胡典钢

来源:华章科技

终于有人把工业数据采集讲明白了

 

01 工业数据采集的范围

工业数据采集利用泛在感知技术对多源异构设备和系统、环境、人员等一切要素信息进行采集,并通过一定的接口与协议对采集的数据进行解析。信息可能来自加装的物理传感器,也可能来自装备与系统本身。

《智能制造工程实施指南(2016—2020)》将智能传感与控制装备作为关键技术装备研制重点;针对智能制造提出了“体系架构、互联互通和互操作、现场总线和工业以太网融合、工业传感器网络、工业无线、工业网关通信协议和接口等网络标准”,并指出:“针对智能制造感知、控制、决策和执行过程中面临的数据采集、数据集成、数据计算分析等方面存在的问题,开展信息物理系统的顶层设计。”

这里面蕴含两方面信息:一是工业数据采集是智能制造和工业物联网的基础和先决条件,后续的数据分析处理依赖于前端的感知;二是各种网络标准统一后才能实现设备系统间的互联互通,而多种工业协议并存是目前工业数据采集的现状。

广义上,工业数据采集分为工业现场数据采集和工厂外智能产品/移动装备的数据采集(工业数据采集并不局限于工厂,工厂之外的智慧楼宇、城市管理、物流运输、智能仓储、桥梁隧道和公共交通等都是工业数据采集的应用场景),以及对ERP、MES、APS等传统信息系统的数据采集。

如果按传输介质划分,工业数据采集可分为有线网络数据采集和无线网络数据采集。

02 工业数据采集的特点

工业数据采集具有一些鲜明的特征,在面对具体需求时,不同场景会对技术选型产生影响,例如设备的组网方式、数据传输方式、数据本地化处理、数据汇聚和管理等。

1. 多种工业协议并存

工业领域使用的通信协议有很多,如PROFIBUS、Modbus、CAN、HART、EtherCAT、Ethe.NETIP、Modbus/TCP、PROFINET、OPC UA,以及大量的厂商私有协议。这种状况出现,很大程度上是因为工业软硬件系统存在较强的封闭性和复杂性。

设想在工业现场,不同厂商生产的设备,采用不同的工业协议,要实现所有设备的互联,需要对各种协议做解析并进行数据转换,这是工业物联网存量改造项目开展时最先遇到的问题——想要解决“万国牌”设备的数据采集,耗时又费力。

如果是新建设的工厂,应从最开始的规划阶段考虑车间、厂级和跨地域的企业级工业物联网应用要求,在没有历史包袱的情况下,通过制定标准,综合评估现场的电磁环境抗干扰要求、数据带宽要求、传输距离、实时性、组网时支持的设备节点数量限制、星形或DAIsy-Chain网络拓扑、后期扩展性等因素,选择合适的技术路线,并设计好OT与IT互通的接口,这将大大降低数据采集的难度和工作量。

2. 时间序列数据

工业数据采集大多数时候带有时间戳,即数据在什么时刻采集。大量工业数据建模、工业知识组件和算法组件,均以时间序列数据作为输入数据,例如时域分析或频域分析方法,都要求原始数据包含时间维度信息。

工业物联网应用越来越丰富,延伸到了更多的场景下,例如室内定位开始在智慧仓储、无人化工厂中探索应用,无论是基于时间还是基于接收功率强度的定位方式,其定位引擎都要求信号带有时间标签,才能完成定位计算,保证时空信息的准确性和可追溯性。

在搭建工业物联网平台时,应结合时间序列数据的特点,在数据传输、存储、分析方面做针对性的考虑。例如时序数据库(Time Series DataBase,TSDB)专门从时间维度进行设计和优化,数据按时间顺序组织管理。

图3-1所示为典型的时间序列数据,存储于关系型数据库中,当数据规模急剧增大时,关系型数据库的处理能力变得吃紧,需要性能更优的数据库。工业数据和互联网数据存在很大差别,前者通常是结构化的,而后者以非结构化数据为主。

终于有人把工业数据采集讲明白了

▲图3-1 时间序列数据示例

3. 实时性

工业数据采集的一个很大特点是实时性,包括数据采集的实时性以及数据处理的实时性。例如基于传感器的数据采集,其中一个重要指标为采样率,即每秒采集多少个点。采样率低的如温湿度采集,采样间隔在分钟级;采样率高一些的如振动信号,每秒钟采集几万个点甚至更多,方便后续信号分析处理以获得高阶谐波分量。

有些大的科学装置,例如粒子加速器的束流监测系统,采样率达数兆每秒。采样率越高意味着单位时间数据量越大,如此大的数据量,如果不加处理直接通过网络传输到数据中心或云端,对于网络的带宽要求非常之高,而且如此大的带宽下,很难保证网络传输的可靠性,可能会产生非常大的传输时延。

而部分工业物联网应用,如设备故障诊断、多机器人协作、状态监测等,由于要求在数据采集(感知)、分析、决策执行之间,完成快速闭环,因此对数据的实时处理有着较高的要求。如果将数据上传到云端,云端分析后再绕一圈回来,指导下一步动作,一来一回产生的时延,很多时候将变得不可接受。

上述业务场景将在靠近数据源头的现场对数据进行即时处理,实时分析,提取特征量,然后基于分析的结果进行本地决策,指导下一步动作,同时将分析结果上传到云端,数据量经过本地处理后大大减小了。图3-2所示是实时振动信号状态监测和数据分析。

终于有人把工业数据采集讲明白了

▲图3-2 实时振动信号状态监测和数据分析

03 工业数据采集的体系结构

工业数据采集体系包括设备接入、协议转换、边缘计算。设备接入是工业数据采集建立物理世界和数字世界连接的起点。设备接入利用有线或无线通信方式,实现工业现场和工厂外智能产品/移动装备的泛在连接,将数据上报到云端。工业数据采集发展了这么多年,存在设备接入的复杂性和多样性。

数据接入后,将对数据进行解析、转换,并通过标准应用层协议如MQTT、HTTP上传到物联网平台。部分工业物联网应用场景,在协议转换后,可能在本地做即时数据分析和预处理,再上传到云端,提升即时性并降低网络带宽压力。

边缘计算近几年发展迅速,大家越来越意识到数据就近处理的优势,无论是实效性还是出于数据安全性考虑,或是网络的可靠性,边缘计算在工业物联网体系中扮演着重要角色,边云协同也逐渐成了共识。

根据硬件载体不同,将设备接入产品分为以下3类,分类并非绝对,不同类别之间的差异,在于其侧重点不同。

1. 通用控制器

第一类是通用控制器,来自工业装备大脑主控,例如编程逻辑控制器(Programmable Logic Controller,PLC)、微控制单位(MicroController Unit,MCU)等,工业自动化领域存在很多控制和数据采集系统,如分布式控制系统(Distributed Control System,DCS)和数据采集与监视控制系统(Supervisory Control and Data Acquisition,SCADA),它们在承担本职功能的同时,可以作为接入设备使用。

通用控制器通常集成了数字输入输出I/O单元、网络通信单元,以及针对特定应用的选配功能,如模拟量输入单元、模拟量输出单元、计数器单元、运动控制单元等,通过串口或以太网物理接口连接,然后基于现场总线、工业以太网或标准以太网完成数据采集协议的解析,如图3-3所示。

终于有人把工业数据采集讲明白了

▲图3-3 通用控制器

通用控制器应用于数控机床、激光切割机等各种自动化装备、机器人(如机械臂和移动机器人)、SCADA系统的通信管理机,有些自动化装备拥有专用控制器,采用不同的硬件架构如PowerPC、ARM Cortex等。基于通用控制器的设备接入,完成自动化装备自身数据、工艺过程数据采集。

2. 专用数据采集模块

第二类是专用数据采集模块,采集现场对象的物理信号,传感器将物理信号变换为电信号后,专用数据采集模块通过模拟电路的A/D模数转换器或数字电路将电信号转换为可读的数字量。

例如风力发电机利用力传感器实现风机混凝土应力状态的实时在线监测,为风机混凝土基础承载力的评估提供依据,同时利用加速度传感器采集振动信号,在风力发电系统的运行过程中,实时在线监测振动状况并发送检测信息,根据检测信息有效控制风机运转状态,避免由于共振而造成的结构失效,并对超出幅度阈值的振动进行安全预警。

将力传感器和加速度传感器安装固定于风机上,传感器输出端连接到专用数据采集模块的输入端,专用数据采集模块通过网络将数据上传到本地或远端服务器,进行下一步数据分析和可视化。

专用数据采集模块的形式可能是数据采集板卡、嵌入式数据采集系统等。对于自动化装备或机器人,如果某些关注的数据缺失,无法从其通用控制器直接获取,此时可通过加装传感器,配合专用数据采集模块的方式,完成更多维度的数据采集,这种做法很常见。

3. 智能产品和终端

第三类是智能产品和终端,强调远程无线接入和移动属性。例如通过运营商4G/5G蜂窝网络、Wi-Fi等室内短距离通信,或者低功耗广域网无线连接上报数据。通过无线方式可以采集智能产品和终端的各种指标数据,例如电量、信号强度、功耗、定位、嵌入式传感器数据等。

大部分智能产品和终端在产品定义时直接集成了无线通信能力手机和可穿戴设备属于典型的例子。当前智能产品越来越丰富,万物互联时代,默认具备远程接入能力,对智能产品使用过程中的各种运行指标进行监测,分析采集的数据,可以指导研发团队更好地改进产品。

例如具有移动属性的自动化装备,如AGV机器人在室内基于Wi-Fi自组网集群,实现AGV之间的通信,草皮收割机在户外作业时的远程监测和控制。有些产品终端本身不具备远程接入能力,可间接通过数传模块(Data Transfer Unit,DTU)或工业网关,实现同样的效果。

工业数据采集关于数据的界定是非常广义的,它可能来自通用控制器运行时的关键指标,或者传感器采集的某个物理量,或者单纯一个身份标识信息,比如RFID标签EPC数据区定义的标签ID、广播报文中携带的唯一mac地址等,通信双方彼此交换的可能仅仅是简单的身份信息,完成一次确认,无须多余信息,虽然通信双方有能力携带额外信息。

关于作者:胡典钢,资深工业物联网专家,顺丰物联网平台负责人,兼任顺丰集团职业发展评审委员和ZETA联盟工业物联网高级顾问,负责顺丰物联网平台建设及产品化工作。在物联网、边缘计算、工业大数据领域从业10余年,有丰富的实践经验。历任NI公司应用工程师、高级应用工程师、大区销售经理,兼任GSDZone社区专栏作者和海南大学校外专家,NI(中国)首位认证双架构师——LabVIEW架构师和TestStand架构师,主导大型工业自动化测试控制和工业物联网项目的开发工作。2016年受邀撰写专著《TestStand工业自动化测试管理》,广受业界好评,多次重印。

本文摘编自《工业物联网:平台架构、关键技术与应用实践》,经出版方授权发布。(ISBN:978-7-111-70227-6)

终于有人把工业数据采集讲明白了

延伸阅读《工业物联网》

推荐语:这是一本从平台架构、关键技术、应用实践3个维度全面讲解工业物联网如何在生产实践中落地的著作。它是顺丰物联网平台负责人10余年经验的总结,得到了行业里近10位专家的一致推荐。它将帮助企业解决工业物联网推进过程中遇到的OT与IT融合困难、组织协作成本高昂、全局性技术栈选型难把握、项目规模化落地困难风险易低估、数字化转型难聚焦等系列问题。



Tags:数据采集   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
数据采集新篇章:AI与大模型的融合应用
开篇在AIGC(人工智能与通用计算)应用中,大型语言模型(LLM)占据着举足轻重的地位。这些模型,如GPT和BERT系列,通过处理和分析庞大的数据集,已经极大地推动了自然语言理解和生成的边界...【详细内容】
2024-01-17  Search: 数据采集  点击:(57)  评论:(0)  加入收藏
如何使用Python Scrapy库提升数据采集速度?
Scrapy是一个强大而灵活的Python爬虫框架,被广泛用于数据采集、网站抓取和网络爬虫开发。本文将深入介绍Scrapy的功能和用法,并提供丰富的示例代码,帮助更好地理解和应用。一、...【详细内容】
2023-10-22  Search: 数据采集  点击:(107)  评论:(0)  加入收藏
实时数据采集技术揭秘:九个方面数据分析应用详解
实时数据采集是当今大数据时代中至关重要的一环。在企业决策、市场调研、智慧城市等领域,实时数据采集已经成为掌握信息的第一步。本文将从数据采集流程、数据采集技术、数据...【详细内容】
2023-04-18  Search: 数据采集  点击:(186)  评论:(0)  加入收藏
Nginx奇技淫巧之:用户行为埋点数据采集实现
前言面向用户端的系统,往往会对用户行为进行数据埋点采集,如电商系统用户点击推荐商品、添加购物车、订单支付等。通过这些重要环节将用户的操作行为数据上报到后端,再由大数据...【详细内容】
2022-11-22  Search: 数据采集  点击:(616)  评论:(0)  加入收藏
网络信号差甚至无信号环境下,如何解决设备数据采集问题?
城市发展建设中,高层建筑越来越多,同时楼宇地下室也成为了人们生活中很重要的区域;生活中常用到的一些电表、水表、气表、水泵等都安装在地下室,需要在地下室对这类能耗数据进行...【详细内容】
2022-10-31  Search: 数据采集  点击:(397)  评论:(0)  加入收藏
OceanBase 数据采集
1、安装oblogproxyyum install -y yum-utils yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo yum install -y oblogproxy # oblogp...【详细内容】
2022-10-24  Search: 数据采集  点击:(441)  评论:(0)  加入收藏
全网最简单的数据采集自动化工具——Instant Data Scraper
大家都知道“网络爬虫”这个词,知道的朋友都听过一句话”爬虫学的好,监狱进的早“,其实任何工具如果合理利用,会大大帮助使用者提高效率,而使用过度了,就会造成负面影响,在这里。本...【详细内容】
2022-09-13  Search: 数据采集  点击:(1561)  评论:(0)  加入收藏
花生壳内网穿透:无需专线公网IP,安全高效远程数据采集
随着信息技术发展和工业自动化水平的提高,各种现代化监测设备及数据采集器被广泛应用于水文水利、气象环保、工业控制等领域,用于户外、工业现场进行数据采集、存储和传输。...【详细内容】
2022-08-19  Search: 数据采集  点击:(485)  评论:(0)  加入收藏
终于有人把工业数据采集讲明白了
导读:工业物联网感知层作为物理世界与数字世界的桥梁,是数据的第一入口。现实情况下,由于感知层数据来源非常多样,来自各种多源异构设备和系统,因此如何从这些设备和系统中获取数...【详细内容】
2022-05-24  Search: 数据采集  点击:(439)  评论:(0)  加入收藏
4G/DTU野外数据采集与传输终端 全网通RS232/485 TOLTE
一、HS-1002G/DTU 数据传输终端概述:无需布线,即可解决野外数据传输。☞ 只需4G/3G/2G 网络,即可提供数据采集与无线传输☞ SIM卡接口:1.8V/3V☞ 天线接口:SMA/50Ω☞ 7 模...【详细内容】
2021-05-14  Search: 数据采集  点击:(456)  评论:(0)  加入收藏
▌简易百科推荐
大数据杀熟何时告别“人人喊打却无可奈何”?
2月7日郑州飞往珠海的航班,不同手机、不同账号搜索该航班显示出不同价格。图源网络有网友近日分享在某平台的购票经历,引发社会广泛关注——用3个账号买同一航班同...【详细内容】
2024-01-30    中国青年网  Tags:大数据杀熟   点击:(34)  评论:(0)  加入收藏
简易百科:到底什么是大数据?
随着互联网的快速发展,大数据已经成为了当今社会最热门的话题之一。那么,到底什么是大数据呢?首先,我们需要明确大数据的定义。大数据是指数据量极大、类型繁多、处理难度高的数...【详细内容】
2024-01-30    简易百科  Tags:大数据   点击:(41)  评论:(0)  加入收藏
数据采集新篇章:AI与大模型的融合应用
开篇在AIGC(人工智能与通用计算)应用中,大型语言模型(LLM)占据着举足轻重的地位。这些模型,如GPT和BERT系列,通过处理和分析庞大的数据集,已经极大地推动了自然语言理解和生成的边界...【详细内容】
2024-01-17  崔皓  51CTO  Tags:数据采集   点击:(57)  评论:(0)  加入收藏
挑战 Spark 和 Flink?大数据技术栈的突围和战争
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或...【详细内容】
2024-01-17  InfoQ    Tags:大数据   点击:(41)  评论:(0)  加入收藏
分布式存储系统在大数据处理中扮演着怎样的角色?
如果存储节点本身可以定制,则通常会让其支持部分计算能力,以利用数据的亲和性,将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储,无法定制,则通常会将数据在计...【详细内容】
2023-12-19  木鸟杂记  微信公众号  Tags:大数据   点击:(49)  评论:(0)  加入收藏
大数据如何实时拯救生命:车联网的数据分析有助预防交通事故
译者 | 李睿审校 | 重楼车联网(IoV)是汽车行业与物联网相结合的产物。预计车联网数据规模将越来越大,尤其是当电动汽车成为汽车市场新的增长引擎。问题是:用户的数据平台准备...【详细内容】
2023-12-19    51CTO  Tags:大数据   点击:(43)  评论:(0)  加入收藏
利用生成对抗网络进行匿名化数据处理
在互联网时代,数据日益成为人们的生产资料。然而,在某些情况下,我们需要分享数据,但又需要保护个人隐私。这时,匿名化技术就显得尤为重要。本文将介绍利用生成对抗网络进行匿名化...【详细内容】
2023-12-18  技巧达人小影    Tags:数据处理   点击:(57)  评论:(0)  加入收藏
盘点那些常见的数据中心类型,你知道几个?
在数字化潮流的浪潮下,数据中心如同企业的神经系统,关系到业务的稳健运转。而在这个巨大的网络中,各种数据中心类型如雨后春笋般崭露头角。从企业级的个性至云数据中心的虚拟化...【详细内容】
2023-12-07  数据中心之家  微信公众号  Tags:数据中心   点击:(71)  评论:(0)  加入收藏
数据中心的七个关键特征
随着信息技术的不断演进,数据中心的可靠性、可扩展性、高效性、安全性、灵活性、管理性和可持续性成为业界探讨的焦点。下面让我们一同深入剖析这些关键特征,了解它们是如何影...【详细内容】
2023-12-06  数据中心之家  微信公众号  Tags:数据   点击:(65)  评论:(0)  加入收藏
什么是数据解析?将数据转化为更好的决策
什么是数据解析?数据解析是一门专注于从数据中获取洞察力的学科。它包含数据分析(data analysis)和管理的流程、工具和技术,包括数据的收集、组织和存储。数据解析的主要目的是...【详细内容】
2023-12-06  计算机世界    Tags:数据解析   点击:(68)  评论:(0)  加入收藏
站内最新
站内热门
站内头条