./t20191128_932185_taonews.html
专题
首页  >  专题  >  媒体视点  >  名刊精选  >  《张江科技评论》

《张江科技评论》

开博时间:2019-06-06 14:03:00

《张江科技评论》是由上海科学技术出版社与上海市张江高科技园区管理委员联合创办的一本科技评论类杂志。该刊报道评价国内外创新性科学技术的发展趋势及其商业价值,介绍上海在建设全球领先科创中心进程中的制度成果、技术成果、创业成果,推动产学研密切协作,促进科技成果转化,服务经济转型发展。

文章数
分享到:

深度解析物联网和大数据分析的渊源和应用

2019-11-28 10:43:00

  物联网和大数据,这两个看似毫无关联的技术,可以通过数据(一个产生数据,一个处理和分析数据)紧密地联系在一起。

  物联网(IoT)是一个完整的概念,不仅包括远端的传感器数据采集、传输、存储和展示,还包括对采集的传感器历史数据的分析,以及基于分析结果所产生的决策、反馈和控制动作。相对于传统的人的认知方式,物联网相当于增强了人的“五官”的识别能力,使人能够获取很多原本无法直接获取的信息。而基于物联网的数据分析,则相当于增强了人的“大脑”的感知能力,让人能够摆脱传统思维的局限性,实现更多维度、更全面、更实时的认知和判断。

  通常意义上的大数据,指的是对批量数据的计算。最近10年陆续发展出的一系列包括Hadoop、Spark在内的新技术,可以高效、实时地处理海量的数据(批量数据为主)。在此基础上,将原来的一些处理小数据集的数据挖掘技术,同大数据结合起来,可以实现对很多业务系统数据(批量数据为主)的分析,例如针对不同标签的群体的分类和画像,并进行精准营销。随着实时性的提高,最近几年流式计算和分析也被提到了一个更高的层次,用于处理时刻都需要分析和处理的、带有时间标签的数据,如物联网数据或日志数据。

  由此可见,物联网和大数据这两个看似毫无关联的技术,是可以通过数据(一个产生数据,一个处理和分析数据)紧密地联系在一起的。

  区分IoT、IIoT和工业大数据:需追根溯源

  在进一步阐述物联网和大数据分析的关系之前,需要弄清楚物联网、工业物联网(IIoT)和工业大数据几个概念。

  ●区分传统物联网和工业物联网

  传统物联网主要针对消费者以及智慧城市等,通过增加众多分散广泛的传感器,采集和传输实时数据,构建实时监控、展示、告警和历史数据查询的能力。工业物联网,则主要指的是通过采集现有工业设备的控制系统数据(很少需要增加传感器),在监控告警的基础上,通过深入的数据分析,找到提高设备可靠性、降低异常风险、提高生产和运营效率的途径。

  传统物联网的数据分析与互联网上的流式数据分析区别不大,通过单一指标的处理,产生相应的时间窗口内的平均、极值等计算量,并进行批量计算和展示。

  ●区分工业物联网和工业大数据

  在国外,很多厂商和媒体并没有工业大数据这个概念,更多是将其合并在工业物联网的范畴,而国内则将二者当成两个不同的类别,还将二者连同诸如生产和供应链系统等,统统融入工业互联网的概念中。因此,我们可以看到包括高德纳咨询公司(Gartner)在内的国外分析机构,并没有专门针对工业大数据或工业互联网的分类,而有很细致的工业物联网的分析。

  传统工业并不是没有数据处理,只是数据采集、数据处理、数据分析和反馈都分散在不同系统里,从而导致无法处理海量的工业“大”数据,也无法保证实时性。在工业企业里,很多数据分析人员被迫从不同的控制系统中手动导出一些数据文件,通过手工的方式进行交叉关联和标注,并编写相应的Matlab程序实现统计分析和建模,然后再提取一些现场数据进行验证,条件好的企业还会请一些外部的合作伙伴将其开发成应用。这种处理和分析的效率非常低,但确实是一种普遍现象。

  工业物联网和互联网大数据:分析大不同

  工业物联网的数据分析(工业物联网+工业大数据),同传统的互联网大数据分析,有很多不一样的地方。

  ●数据属性不同

  (1)数据量巨大

  工业数据的“量”,需要从数据维度、采样频率、时间跨度等方面来考虑。

  传统的物联网,由于大多是相对独立的传感器,而每个传感器上数据点的数量往往都是个位数,因此数据维度很少。而对工业物联网来说,复杂的生产都是多个过程相互关联,每个过程又是多维度数据集成的过程。这里所说的数据维度囊括了生产过程中各种设备特征、外部工况、参数、材料和工艺配方等相关因素。这种维度的数量级往往很大,在很多高端自动化生产(如半导体)的过程中,数据维度都达到了千万级别,而其中任何一个过程的任何一个变量的变化,都有可能对最终生产的结果产生蝴蝶效应。

  传统物联网的数据采集间隔通常都是秒级、分钟级,相对比较固定。而工业设备数据的采样频率的跨度非常大,一个设备的不同指标可以有上千倍的差别。对于设备故障诊断常用的电流、振动加速度等传感器指标,往往需要10 kHz以上的采样频率,而一些状态变化往往需要几秒甚至几十秒才采样一次。

  长期数据的保存,对于积累在不同状态下的特征判决,非常有帮助。但是,传统的物联网对长期数据的保存需求不是很明显,没有太多“状态性”(stateless)的需求。而工业物联网对基于状态(stateful)的数据分析,需求非常强烈。首先,在传统的工业领域,对于设备状态、控制门限、关键参数的设置,往往都是通过厂家或者运营人员的经验值进行设置和调整,这个值是否正确,是需要经过长期的数据验证的。其次,工业设备的电流、功率、扭矩等指标,在不同工作模式、工况条件、故障状态下,往往都存在明确的不一样特征。而这些特征如果能够被保存下来,通过机器学习来训练特征识别模型,将有助于实现精准的状态判决、异常检测和故障诊断。此外,通过不断累积类似相同标签的数据样本,将有助于增强识别的准确性。特别是一些可靠性很高的关键设备,因为故障的成本很高,更需要保存异常或者故障的特征,并通过部件之间、子系统之间以及设备之间特征的组合分析,来进一步提高可靠性。

  (2)实时性强

  通常大家都认为工业数据的实时性会很强,事实上,这指的是工业控制的实时性,而不是工业数据分析的实时性。

  传统的工业数据分析,往往是通过在控制系统或者软件系统中截取一段数据,保存成文件,通过分析人员编写一段代码(如Matlab)和模型,在实验环境中进行测试和验证,再开发相应的控制逻辑或者应用程序,通过实时接收来评估开发的模型,在运行的过程中不断调整模型的参数。这个过程是非常痛苦的,不仅因为数据的来源和分析是脱节的,更因为在模型开发的过程中需要的实时数据的验证是没有办法在现有环境中实现的。

  理想的工业数据分析,应该是一个高效实时的过程。它可以从实时的工业数据中截取有效的数据样本,基于不同的开发语言和模型框架,开发特定的算法和模型,并基于实时采集的数据进行验证,然后将验证的结果同真实的实时数据流结合起来,实现实时的判决。只有这样,才能形成针对具体场景的智能分析和控制。

  (3)数据质量差

  工业数据质量差是工业数据的典型特点。工业的专业性特点,导致大型设备往往是来自多个不同厂家的子系统的大集成。而主机厂往往并不了解每个子系统的工作原理,并没有形成一套完整的、跨子系统的控制逻辑和数据整合机制,因此只能从其中挑选一些关键的控制信号,实现既定的控制逻辑,而不会去关心每一个子系统的工作原理,包括各种有助于实现可靠性、效率乃至质量分析的非控制用指标。

  工业设备生产厂家虽然都声称能够达到各种指标,但他们往往只能保证关键控制指标的完整性,而不能保证子系统关键指标的精度和可靠性。由于没有很好的数据整合机制,主机厂往往无法识别不同子系统的工作状态,而给后期针对不同工作状态的数据分析造成巨大的障碍。此外,来自不同子系统的整合,可能会出现时间标签不统一、数据量程不对、数据标签错误等常见错误,甚至在出现问题的时候,主机厂都无法解释子系统的指标意义。同时,由于现场环境的恶劣条件,往往会造成传感器数据失效,或者长期处于不准确状态。这些数据质量问题,都给后期的数据分析造成了巨大的障碍,在分析之前需要做大量的清洗和处理工作。

  ●数据分析方法不同

  一提到大数据分析,很多人会想到通过海量数据的聚类、分类、挖掘,实现精准营销、用户画像。但是,这些互联网或业务系统的数据,都有一些显著的假设条件,即数据量大、数据可以清晰地标签化、标准化场景多、分析的准确性要求不高。通过一系列的分类、挖掘,可以找到不同样本之间的共同特征,针对有相似属性的不同个体的训练结果,来推测具备相同或者相近属性的个体的特征。但是,对于工业数据分析,这些假设条件基本都不存在,数据分析面临更多挑战。

  首先是小样本。工业的异常现象往往会非常少,或者在单一设备上发生的概率非常低,这就造成无法使用常规的大数据、机器学习的方法,根据采集的异常数据特征,去训练稳定的故障模型。

  其次是过拟合。根据大量相关因素,通过机器学习在特定数据集下所训练出来的模型,即使经过了大量的测试数据的验证,表现出很完美的拟合特征,但在真实环境下,由于数据和工作状态的多变性,往往很难取得长期稳定的判决结果,即出现“过拟合”的情况。

  第三是难以准确清晰地标注。工业数据即使出现了一些可以提炼的特征,但这种特征往往跟不同的工况或者工作模式紧密相关(如振动传感器振动幅度的高低,在设备轻载或者重载下完全不一样)。如果没有办法区分出异常特征的标注条件,很难实现有效的数据过滤和分析。

  第四是场景碎片化。工业的场景呈碎片化,很难有通用的模型,即使有一些类似电机、泵的故障模型,以及振动分析、统计过程控制(SPC)这样的通用分析方法,在不同类型的设备上,甚至在同一类型的不同个体上,都很难保证统一稳定的运行。

  这些挑战,都会造成工业大数据分析不可能完全采用互联网大数据的分析方法,而是需要充分结合工作机理,实现复合型的建模和判决。

  应用场景融入工业三大层:起巨大作用

  我们都知道,互联网大数据的应用场景包括基于用户画像的精准营销、海量结构化的决策支持等。那么,工业物联网的数据分析可以应用到哪些场景中呢?

  我们认为,工业物联网的大数据分析,从工业的三个层次,都可以发挥出巨大的作用。

  ●设备层

  工业企业可以通过读取智能工业产品的传感器或者控制系统的各种实时参数,构建可视化的远程监控,并基于采集的历史数据,构建层次化的部件、子系统乃至整个设备的健康指标体系,并使用人工智能实现趋势预测。基于预测的结果,工业企业可以对维修策略以及备品备件的管理策略进行优化,降低和避免客户因非计划停机带来的损失。

  例如,寄云科技为某石油机械制造公司提供了钻井设备的预测性维修和故障辅助诊断系统,不仅能够实时采集钻机不同关键子系统,如发电机、泥浆泵、绞车、顶驱的各种关键指标数据,更能够根据历史数据的发展趋势,对关键部件的性能进行评估,并根据部件性能预测的结果,调整和优化维修的策略。该系统还能够根据钻机的实时状态的分析,对钻井的效率进行评估和优化,有效地提高钻井的投入产出比。

  ●过程层

  工业企业可以将生产阶段的各种要素,如原材料、设备、工艺配方和工序要求,通过数字化的手段集成在一个紧密协作的生产过程中,并根据既定的规则,自动完成在不同条件组合下的操作,实现自动化的生产过程;同时,记录生产过程中的各类数据,为后续的分析和优化提供依据。通过采集生产线上的各种生产设备的实时运行数据,实现全部生产过程的可视化监控,并且通过经验或者机器学习建立关键设备参数、检验指标的监控策略,对出现违背策略的异常情况进行及时处理和调整,实现稳定并不断优化的生产过程。

  例如,寄云科技为某电子玻璃产线构建的在线质量监控体系,充分采集了冷端和热端的设备产生的数据,并通过机器学习获得流程生产过程中关键指标的最佳规格,设定相应的监控告警策略,在几万个数据采集点中实现对特定的质量异常现象的诊断分析。

  ●经营层

  工业企业可以通过将过程层产生的各种运营技术(OT)数据,同业务系统产生或者填报的各类信息技术(IT)数据相结合,构建统一的数据标准,并在其基础上,通过一定的计算和分析,就能够产生准确的经营层面的分析,对企业的安全生产、经营效率、决策支持都提供支撑,逐步延展至企业外部环境,提供开放的数据生态,进而形成更强的竞争力。

  例如,寄云科技为某省级能源集团提供了安全生产智慧管控的解决方案,从数十个不同类型的实时数据库提取生产的实时数据,结合从第三方业务系统抽取的业务数据,构建多维度的统一数据标准,并基于IT和OT融合的数据标准,开发包括生产运行监控、安全管理、环保管理、质量管理、能源管理、经营分析等在内的一系列的工业应用。

  一个高效运行的工业企业,按照我们的理解,必须将OT和IT的数据整合到一个大的平台上,并制定严格的数据标准(资产、过程、流程、组织的标准),通过不同的专业数据分析,持续开发不同的新形态的应用(如上图所示),才能满足企业全方位、精准、高效运营的需求。

  总之,对物联网而言,无论是通用的物联网还是工业物联网,如果没有结合专业的精细化的数据分析,是支撑不了企业未来的发展战略的。选择合适的工业物联网平台,将极大地加快企业的数字化进程,朝着智能化的道路快速推进。

  时培昕,博士,寄云科技创始人兼总裁。

  作者:时培昕

  本文来自《张江科技评论》

上一篇:科技复古风
下一篇:当人工智能遇上癌症
©2011-2020 版权所有:中国数字科技馆
未经书面许可任何人不得复制或镜像
京ICP备11000850号 京公网安备110105007388号
信息网络传播视听节目许可证0111611号
国家科技基础条件平台