数据采集技术的难点在于哪里

　　从数据采集的类型上看，不仅要涵盖基础的数据，还将逐步包括半结构化的用户行为数据，网状的社交关系数据，文本或音频类型的用户意见和反馈数据，设备和传感器采集的周期性数据，网络爬虫获取的互联网数据，以及未来越来越多有潜在意义的各类数据。

　　在当今的制造业领域，数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式，采集过程中容易出现人为的记录错误且效率低下。

　　有些企业虽然引进了相关技术手段，并且应用了数据采集系统，但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统，因此也无法实现信息采集的实时性、精确性和延伸性管理，各单元出现了信息断层的现象。

　　技术难点主要包括以下几方面：

　　数据量巨大

　　任何系统，在不同的数据量面前，需要的技术难度都是完全不同的。

　　如果单纯是将数据采到，可能还比较好完成，但采集之后还需要处理，因为必须考虑数据的规范与清洗，因为大量的工业数据是“脏”数据，直接存储无法用于分析，在存储之前，必须进行处理，对海量的数据进行处理，从技术上又提高了难度。

　　工业数据的协议不标准

　　互联网数据采集一般都是我们常见的HTTP等协议，但在工业领域，会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致在工业协议的互联互通上，出现了极大地难度。

　　很多开发人员在工业现场实施综合自动化等项目时，遇到的最大问题及时面对众多的工业协议，无法有效的进行解析和采集。

　　视频传输所需带宽巨大

　　传统工业信息化由于都是在现场进行数据采集，视频数据传输主要在局域网中进行，因此，带宽不是主要的问题。

　　但随着云计算技术的普及及公有云的兴起，大数据需要大量的计算资源和存储资源，因此工业数据逐步迁移到公有云已经是大势所趋了。但是，一个工业企业可能会有几十路视频，成规模的企业会有上百路视频，这么大量的视频文件如何通过互联网顺畅到传输到云端，是开发人员需要面临的巨大挑战。

　　对原有系统的采集难度大

　　在工业企业实施大数据项目时，数据采集往往不是针对传感器或者PLC，而是采集已经完成布署的自动化系统上位机数据。

　　这些自动化系统在部署时厂商水平参差不齐，大部分系统是没有数据接口的，文档也大量缺失，大量的现场系统没有点表等基础设置数据，使得对于这部分数据采集的难度极大。

　　安全性考虑不足

　　原先的工业系统都是运行在局域网中，安全问题不是突出考虑的重点。一旦需要通过云端调度工业之中最为核心的生产能力，又没有对安全的充分考虑，造成损失，是难以弥补的。

　　数据采集与数据分析本就是专业性很强的事情，如果不是规模特别大的企业无需投入过多的财力与时间去打造属于自己的数据采集与分析系统。由于专业性不够最后会导致采集的数据分析的结果不能指引公司做出正确的商业判断最后得不尝试。

数据采集技术的难点在于哪里相关推荐

云智慧CEO：APM技术难点在于前端数据采集与后端数据分析的结合
应用性能管理(APM)可能对于大多数国内企业来说,还比较陌生.企业用户利用APM可以对自身的关键业务应用进行监测.告警与优化,并不断改善业务可靠性与稳定性,提升核心竞争力.然而在研发出一款成功的APM ...
数据采集—数据采集技术
数据采集技术综述数据采集是大数据产业的基石. 数据采集的重点不在于数据本身,而在于如何才能解决数据运营中的实际商业问题.通过对数据采集技术获取的高质量数据的分析和挖掘,得到的结果对决策行为具有较高 ...
海尔卡奥斯、树根互联们的标识解析体系，建设难点在于哪？
图片来源于网络文 | 陈选滨来源丨智能相对论(ID:aixdlun) 工业互联网在新基建的推动下加速发展,这也意味着更多行业相关的概念或技术开始进入大众视野,成为媒体和市场津津乐道的话题. 那么, ...
灵玖软件大数据采集技术提高出版行业效率
随着信息技术的发展和数字时代的到来,大数据采集成为出版业新一阶段的发展方向.出版单位自身的固有资源已经远远不能满足用户对知识化服务的需求,亟需更多的信息获取渠道.目前,不少商务企业.科研机构.高等院校 ...
详解华为12种数据采集技术及应用实践
导读:数字化转型要从根本上加强数据的可获得性,围绕我们构建的数据主题和对象丰富数据感知渠道.要追求更加实时.全面.有效.安全的数据获取. 作者:华为公司数据管理部来源:大数据DT(ID:hzdash ...
区块链通证经济的核心不在技术，而在于商业逻辑的重构
近两年,区块链迅速在国内掀起一股火热的风潮,随即成为第一个风口.这也吸引了大量的人走进这个行业,很多人对区块链的看法,也是相当看好的. 甚至有人评价:"区块链是世界第九大奇迹",目 ...
中国二维码--汉信码(中国主导的首个二维码码制国际标准「汉信码」ISO/IEC 20830:2021《信息技术自动识别与数据采集技术汉信码条码符号规范》)
国际标准化组织(ISO)和国际电工协会(IEC)正式发布汉信码 ISO/IEC 国际标准 --ISO/IEC 20830:2021<信息技术自动识别与数据采集技术汉信码条码符号规范>. ...
大数据采集技术与预处理
大数据概述 1 你搭建web服务器,建了一个网站.服务器的日志文件自动记录了每一个访问的IP地址等信息.现在要对这些信息进行收集,属于 A. 数据采集 B. 数据清洗 C. 数据存储 D. 数据挖掘 ...
一篇文章让你了解大数据采集技术
大数据开启了一个大规模生产.分享和应用数据的时代,它给技术和商业带来了巨大的变化.麦肯锡研究表明,在医疗.零售和制造业领域,大数据每年可以提高劳动生产率0.5-1个百分点.大数据在核心领域的渗透速度有 ...

数据采集技术的难点在于哪里

数据采集技术的难点在于哪里相关推荐

最新文章

热门文章