工业大数据分析算法及工具

一、数据分析方法及工具
1.数据分析分类
描述性统计分析：应用统计特征，统计表，统计图，对资料的数量特征及分布规律进行测定和描述。
验证性数据分析：侧重对已有的假设和模型进行验证
探索性数据分析：主动在数据中发现新的特征和隐藏信息
2.数据分析方法
描述性统计分析集中趋势：平均数，中位数，众数
离散程度：极差，方差【随机变量各个取值偏差平方的平均数】，标准差，变异系数【变异程度，是标准差与数据平均数的比值】
分布形状：偏态【非对称的偏向程度，集中位置的程度，左偏，右偏】，峰态【尖平】
参数估计点估计：用估计量的某个取值直接作为总体参数的估计值。
区间估计：在点估计的基础上给出参数估计的一个估计区间。
假设检验步骤一：建立假设
步骤二：构造与计算检验统计量
步骤三：根据事先给定的小概率值—显著行水平进行检验，检验值通常取0.05,0.01
假设检验可以分为双侧假设检验，单侧假设检验【左右】
建设检验的类型：
单样本的假设检验：总体方差已知【Z检验】，总体方差未知【t检验】
双样本的均值比较假设检验：方差齐次性检验【t检验】
成本样本的均值假设检验：【t检验】
随二假设检验在生产中的广泛应用，无论是质且管理还是假设检验本身的理论都取得了一定的发展，从仅仅对产品进行事后把关到洲于制造阶段控制，最后到全面的质量管理，假设检验的应用在其发展中起到了不可或缺的作用。作为一种重要的统计方法，假设检验在产品生产的各个阶段都有着相当广泛的应用，通达树产品资斜翻史集，整理，分析直到做出结论，在现代化的企业中统计方法已经得到了广泛应用，随着科技的不断发展，假设检验存下业中的应用必丘封产品质量起倒更好洲呆圈乍用，为企业决策提供更加可旅的决策依据。
方差分析通过比较总体方差各种估计间的差异来检验方差的正态总体是否具有相同的均值，是检验多因素之间的差异显著性的重要性统计分析方法。
双因素方差分析
是通过分析得出各个因素对结果是否有影响。有两种类型：一个是无交互作用的双因素方差分析，它假定因素A和因素B的效应之间是相互独立的，不存在相关系；另一个是有交互作用的双因素方差分析，它假定因素A和因素B的结合会产生出一种新的效应。
单因素方差分析
也称单因子方差分析。如果一个试验中，只有一个因素在变，而其它因素保持不变，称此试验为单因子试验，只涉及一个分类型自变量，称为单因素方差分析。分析的结果是此因素是否对结果有影响。
方差分析在工业中的应用：原材料对比分析、人员对比分析、设备对比分析、生产工艺对比分析、产品质量检测因素分析。
回归分析回归分析法是依据事物发展变化的因果关系来预测事物未来的发展走势，它是研究变量间相互关系的一种定量预测方法，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式，又称回归模型预测法或因果法，应用非常广泛。
一元回归：线性回归、非线性回归
多元回归：线性和非线性
回归分析的应用：能耗预测和控制、质量控制、产品研发、产能预测、市场预测
3.分析工具
excel,spss,sas,matlab,R,阿里云pai

二、工业数据的检测分析
1.工业生产流程
原料采购、原料入库、生产加工、入库、库存管理、销售出库
1、质量管理
在原料和产品的质量管理中，出于检验的成本考虑，一般情况下不可能对产品进行全部检验，甚至有些产品的检验是带有破坏性的(比如产品寿命、产品性能、产品强度等)，这种检验只能采取抽检形式，抽检出一定的样本数据进行分析，并对整体的产品质量进行统计推断。通过数据分析能在产品生产的各个阶段进行控制，以便达到生产预期效果，包括原材料购进和产品交付，产品生产过程中的质量控制，改进生产后方法有效性的验证等等。
2、产品质量影响因素分析
在工业化的生产过程中，可能会经常出现有问题的产品。这些产品发生的概率随着生产工艺过程各不相同。通过数据分析，找出影响产品质量的主要因素，再对主要因素进行详细的分析，实现产品质量的改进和控制。
3、机器设备诊断与维保分析通过对设备实时和积累的数据进行分析，判断哪些机器设备运转正常，哪些设备可能要出故障，便可做出何时维护、安排设备离线、安排哪些设备运行的决策，这样既可以降低停机时间，提高产量，还能节省时间和成本。通过数据分析还能寻求产品质量、识别状态、机器振动等之间的规律，提取影响产品质量和影响设备状态的敏感参数，提前做出响应，并为生产过程中的工艺参数调整及抢修提供决策指导。
4、能耗分析
在使用设备的生产过程中，利用传感器集中监控所有的生产流程，能够发现能耗的异常或峰值情形，由此便可在生产过程中优化能源的消耗，对所有流程进行分析将会大大降低能耗。通过对产量与能耗量进行线性回归分析，据此计算出与能耗量相对应产量取值区间。通过产量取值区间的预测，达到控制设备能耗，及时发现异常，降低生产成本。
5、生产工艺及流程改进
在生产过程中使用生产工艺改进的数据，就能分析整个生产流程，能更快速地发现错误或者瓶颈所在，也就能更容易解决问题。利用数据分析，还可以对工业产品的生产过程建立虚拟模型，仿真并优化生产流程。
6、其他
在工业生产过程中，不同过程量监测的技术可行性、精度、频度、成本等差别较大，通过数据分析，建立指标间的关联关系模型，通过易测的过程量去推断难测的过程量，提升生产过程的整体可观可控。所以，数据分析在工业数据中取得非常重要的作用!

三、阿里云机器学习PAI
阿里云机器学习PAI(Platform of Artificial Intelligence) 是一款一站式的机器学习平台，包含数据预处理、特征工程、常规机器学习算法、深度学习框架、模型的评估以及预测这一整套机器学习相关服务。得益于底层的飞天计算平台的CPU集群以及GPU集群， PAI可以为用户提供PB级别数据的高效计算保证。另外， PAI还将算法组件进行封装，并且增添了大量的可视化工具，让用户可以低门槛上手，真正实现人工智能触手可及。

工业大数据分析算法及工具相关推荐

工业大数据分析综述：模型与算法
工业大数据分析综述:模型与算法王宏志,梁志宇,李建中,高宏哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨 150001 摘要:随着条形码.二维码.RFID.工业传感器.自动控制系统.工业互 ...
工业制造中的大数据分析应用_工业大数据分析方案-美林数据
认识工业大数据什么是工业大数据? 我们先看看维基百科的说法:"工业大数据(Industrialbig data)是构成工业人工智能的重要元素,指由工业设备高速产生的大量数据,对应不同时间下 ...
【工业大数据】昆仑数据首席科学家田春华：人工智能降低了工业大数据分析的门槛
机器之心原创作者:高静宜在刚刚结束的国际 PHM 数据竞赛中,昆仑数据的 K2 代表队以绝对优势一举夺冠,成为 PHM Data Challenge 十年竞赛史上首个完全由中国本土成员组成的冠军团 ...
传统制造企业究竟要怎么去做工业大数据分析
近日,互联网周刊发布2021工业大数据企业排行榜,美林数据凭借Tempo 大数据分析平台(BI+AI),成为联合调查评选结果第一位. 当前,数字化正在改变着传统制造业的面貌,席卷着制造业的各个领域,在 ...
报名 | 工业大数据分析：机会与挑战讲座
随着"中国制造2025"国家战略和"工业4.0"."工业互联网"等理念的推进,工业领域的大数据应用获得大量的关注,但其中存在不少浮夸和误解. ...
2018年最好的软件开发、云计算、大数据分析和机器学习工具
InfoWorld编辑和评论家评选出今年最好的软件开发,云计算,大数据分析和机器学习工具. 欢迎来到InfoWorld的年度技术奖,这是我们对信息技术领域中最好,最具创新性,最重要的产品的年度庆典. ...
昆仑数据首席科学家田春华：人工智能降低了工业大数据分析的门槛
PHM(Prognostics & Health Management,即故障诊断与健康管理)学会从 2008 年成立一直专注于工业设备故障诊断领域,其每年举办的「PHM 数据竞赛」是国际上高 ...
工业大数据分析平台的应用价值探讨
大数据经过多年的潜心发展,在当今可以说是进入到了一个快速发展期.各种围绕大数据的应用开发也迅速火热起来了.政务大数据解决方案.企业级大数据解决方案.智慧城市停车大数据解决方案等已经开始被应用.5月份一 ...
工业大数据分析平台有哪些价值
工业大数据分析平台是利用大数据技术开发搭建的为工业企业服务的一体化信息平台.我们国家世界工厂,仅仅成为制造大国是不行的.这些年国家高新技术产业的快速发展,我们应该可以深刻感受到我们正在从制造大国向制造 ...

工业大数据分析算法及工具

工业大数据分析算法及工具相关推荐

最新文章

热门文章