试验设计与因果分析感想
试验设计与因果分析感想
- Wisdom comes from Design of Experiment and communication
- 试验设计的目的和意义
- 试验设计的常用方法及原理
- 因子设计试验
- 全面试验的单因素试验设计
- 正交试验设计
- 正交表
- 正交试验设计的基本步骤
- 均匀试验设计
- 均匀设计的出发点及目的
- 均匀设计与正交设计的区别
- 三次设计
- 三次设计的目的和意义
- 作为大数据学生的感想和收获
Wisdom comes from Design of Experiment and communication
试验设计的目的和意义
宏观上，试验设计分为两点
- 设计试验的方法
- 试验数据的分析
从以上两点我们能大概的看出试验设计的目的 ：社会生产过程中，解决并满足产品设计、工艺改进、提高质量、降低成本等问题和需求。验设计得好，会事半功倍，反之会事倍功半，甚至劳而无功。
试验设计的意义在于以较少的人力、物力和时间最大限度地获得可靠的结论。人们需要根据自己的目的，定下一个具体可达到的指标，采用合理的科学方法，分析优化，最终达到自己的目的。
试验设计的常用方法及原理
因子设计试验
因子试验设计(Factorial Design)，也称为因素试验设计，是将所涉及的因素各自设定若干个水平，这些因素、水平的组合构成实验方案的试验设计方法。而因子试验设计根据试验方案的特点通常分为:
- 全面试验：在所有水平组合下都做实验，简称全面试验。
- 部分试验：在所有水平组合中，精选出部分水平组合做实验，简称部分试验。
全面试验的单因素试验设计
而处理这类定量因素固定效应全面试验的主要思想分为以下几点：
1️⃣ 将总体变差分解为条件误差(SSA)(SS_A)(SSA)和试验误差(SSE)(SS_E)(SSE)两部分。
SST=SSA+SSE,fT=fA+fESS_T = SS_A +SS_E, f_T = f_A +f_E SST=SSA+SSE,fT=fA+fE
2️⃣ 均方处理
MSA=1fASSA,MSE=1fESSEMS_A=\frac{1}{f_A} SS_A, MS_E=\frac{1}{f_E}SS_EMSA=fA1SSA,MSE=fE1SSE
3️⃣ 满足四个条件的方差分析：
- 独立性：εij\varepsilon_{ij}εij相互独立，各次试验没有相互牵扯, 通常能够(或可以认为)满足。
- 无偏性：即E(εij)=0E(\varepsilon_{ij})=0E(εij)=0(误差)，通常也可以认为满足。
- 等方差：即Var(εij)=σ2Var(\varepsilon_{ij}) = σ^2Var(εij)=σ2, 通常应进行验证，否则，如果按照等方差模型进行分析，有时会得到不正确的结论。
- 正态性：εij∼N(0,σ2)\varepsilon_{ij} ∼N(0,σ^2)εij∼N(0,σ2), 通常需要进行检验, 观察正态分布满足情况。
正交试验设计
前面说完了将所有的因素考虑在内的全面试验，但是考虑的我们的现实生活中面对成本高，破坏大等较多因素的问题时，想要完成全面试验基本是不可能做到的。于是聪明的人类便在实践中发现，即使不针对全部的因素进行试验，有时我们也能得到想要的结果。在不影响试验效果的前提下，尽可能地减少试验次数便成为了我们的目标（同时也是正交试验的目的）。
正交表
正交试验设计的主要工具便是正交表：一套有理论保证的、规格化的、用于安排多因素，多水平试验的特殊的表格。其主要的两点性质为：各因素搭配的均衡分散和整齐可比。
Ln(qm)\textcolor{red}{L}\textcolor{blue}{_n}(\textcolor{green}{q\textcolor{brown}{^m}}) Ln(qm)
1.L：表示正交表； 2. n：正交表的行数, 即试验总次数； 3.q：因素的水平数； 4. m：列数，即最多能容纳的因素数。
正交试验设计的基本步骤
挑选因素水平：确定规格中有哪些因素（变量）和每个因素都有哪些水平（变量取值）。因素数表示规格描述中相互独立的变量的个数，水平数表示所有因素在实验中能够取得的数量最多的个数。
确定试验方案：选择恰当的正交表，根据所选正交表得到试验方案；根据试验方案，进行试验获得试验结果。
试验结果分析：根据因素水平取值及响应值，对试验结果进行分析，找出其中最佳的因素水平搭配；用直观分析法、方差分析法等数据分析分析方法得出结果。
均匀试验设计
均匀设计的出发点及目的
前面的正交设计中提到最关键的两点便是均衡分散和整齐可比。而我认为同样属于部分试验的均匀设计则是面对更加复杂的问题，所采用更加精简优化的设计。
- 均衡分散：试验点在试验范围内散布均匀。
- 整齐可比：试验点在试验范围内规律排列。
在某些苛刻的条件下，正交试验对于全面试验的试验减少次数依然不能满足要求，并且大多数情况下在试验前并不可能知道哪些因素之间存在交互作用，以至于无法进一步的减少试验次数。此时为了进一步**减少试验次数并且保证试验能达到试验预期，便弃考虑整齐可比**，并且拓展正交试验中的方差分析模型为回归优化模型。为了满足人类以上的要求，均匀设计便应运而生。
均匀设计与正交设计的区别
- 正交设计在全面试验点中挑选最具有代表性的点进行试验，挑选的点在试验范围内具有均衡分散和整齐可比的特点。 而均匀设计不一味的追求试验次数，而是在试验范围内仅仅考虑试验点的均衡分散性，而放弃考虑整齐可比性。相对于正交设计，试验次数会更少。
- 正交设计对于数据处理采用的为方差分析模型，而均匀设计采用的模型为回归模型，在数据的处理上，均匀设计的后期数据处理会并正交设计更加的繁琐。
- 正交设计中正交表的每个因素都有主次之分，而均匀设计对每个因素的每个水平都一视同仁，体现的是均匀设计的均衡性。
三次设计
最后我们来看一看一个由日本大师田口玄一提出的优化设计：三次设计。
三次设计的目的和意义
三次设计也称为三段设计，由以下三个阶段组成：
| 第一次设计（系统设计） | 第二次设计（参数设计） | 第三次设计（容差设计） |
|---|---|---|
| 针对产品相关的专业知识对产品的整体部分进行设计 | 在决定好的系统因素中找到最合适的参数搭配 | 是在找到合适的参数的零件后，考虑零件的质量对收益的影响 |
⚠️ 三次设计的目的：在产品的设计阶段就进行质量控制，争取用最低的生产成本制造出满足顾客需求的、对社会造成的损失最小的、质量最高的产品。
三次设计理论是日本专家田口玄一博士在20世纪70年代初创立的，三次设计可以在产品开发和设计早期阶段防止质量问题的技术。传统设计的思想就是只有质量最好的元器件才能组装出最好的整机，总之就是选着性能和特性最好的元器件。但是随着田口博士设计的参数设计，用低成本造出高质量的成品最终达到高收益的理念逐渐被世界上的企业所重视，这就是三次设计的意义。
作为大数据学生的感想和收获
试想没有如今发达的大数据和互联网，前辈们也是针对于明确的问题，精心设计出合理的试验方案，精简优化。基于有限的数据迅速的得到可靠的结论一直是人们在实践中最推崇的。再者，我们总有面对新奇问题的一天，若没有满足我们的大数据，传统统计学的试验设计和因果分析(Design of Experiment and communication)就应当成为我们解决不时之需的工具。
作为一名大数据的学生基于海量的数据，使用大数据的方法分析和处理问题毫无疑问应该是我们的拿手好戏。但是，我们一味的追求数据量的大，定会忽略了很多别的事物。而对于这门课程则是最好的补充，设计试验中这些巧妙且精确的方法，它们没有像我们的专业一样依赖大量的数据，而是通过有限的数据和精密准确的方法而得到自己所希求的结果。纵使现在是一个数据量爆炸的时代，但我们也不能一味的依赖大数据技术，试验设计是蕴含着前辈们心血和汗水的智慧结晶，其中的奥妙也不是我们一朝一日就能完全领悟的。我们所能做的就是不断的武装自己，不停的保持饥渴。学习各式各样的数据处理方法，真正成为一个能够独当一面的数据处理大师。
试验设计与因果分析感想相关推荐
- 试验设计与因果分析课程学习
试验设计与因果分析课程学习 试验设计与因果分析课程总结报告 头脑风暴--运用思维导图系统梳理总结全部所学内容 试验设计的目的和意义 试验设计常用方法及基本原理 三次设计的目的与意义 课程学习的感悟和收 ...
- 经由因果分析，反驳AI监控学生上课，及辨别健康类谣言
来源:混沌巡洋舰 想象这样一个场景,你和你心爱的女孩一起自习,你的理科好,于是你看着她听数学的网课时,有时露出困惑的表情,还有时会走神.然后等她听完,你再把你觉得她没有听懂的部分,给她换一种方式讲出来 ...
- 因果分析系列2--随机试验
因果分析系列2--随机试验 黄金准则 案例分析 背景介绍 数据分析 小结 理想实验 分配机制 小结 黄金准则 在因果分析系列1–入门我们了解了相关与因果的不同之处.我们也看到了使相关成为因果关系的必要 ...
- 为什么大数据使用相关关系而不是因果分析？
image 在大数据的分析中,很多分析都是使用相关关系进行分析而不是使用因果进行分析,这就让很多人感到疑惑.不过对此也是情有可原的,因为我们在日常生活中习惯性地用因果关系来考虑事情,所以我们自然就会认 ...
- 基于梁氏—克里曼信息流的因果分析理论及应用——应用部分
在上一篇博文: 基于梁氏-克里曼信息流的因果分析理论及应用--理论部分中,我简单介绍了一些关于因果分析的理论知识,也给出了梁氏-克里曼信息流的一些最终结论.艰涩的理论总是让人着迷--因为不懂,反而更显 ...
- 因果分析与关联分析的联系
因果分析中的关联分析 因果分析的发现在大数据背景下变得越发重要,在数据分析领域,人们开始尝试着利用人工智能对数据进行因果分析,但一个因果关系的得出是错综复杂的,不单单是通过机器就能够解决的. 在数据分 ...
- 因果分析系列1--入门
因果分析系列1--入门 因果分析系列1--入门 因果简介 相关不是因果 基本符号定义 数值分析 偏差 图解偏差 因果分析系列1–入门 因果简介 目前机器学习非常擅长回答预测问题.新的人工智能浪潮并未给 ...
- 因果分析系列6--相关，回归与因果
因果分析系列6--相关,回归与因果 相关与因果 相关与回归 回归与因果 回归理论 非随机数据的回归分析 相关,回归和因果这些是统计和机器学习中经常提到的一些术语,它们均可通过观测数据定义定义不同变量之 ...
- 基于梁氏—克里曼信息流的因果分析理论及应用——理论部分
应用部分已更新:应用部分 最近开始跟着导师做项目,其中涉及关于梁氏因果分析一块我并不熟悉,特写此博客,学习记录,理顺逻辑. 这是笔者第一次尝试撰写类似文章,水平不足,且笔者的专业气象科学领域对于因果关 ...
- 数据分析36计(25)：微软开源 DoWhy 之因果分析快速入门
因果分析是在统计领域内建立因果关系的实验分析.在数据分析中,我们始终对因果关系问题感到困扰,通常从统计角度对可用数据进行分析.虽然知道因果关系的金钥匙是 A/B 测试,但是由于某些原因(例如时间限制, ...
最新文章
- 多线程之HttpClient
- C语言 · 数位分离
- 李宏毅线性代数11： 正交（Orthogonality）
- git clone 多个_如何通过Git参与项目开发
- linux常用shell命令之文件操作命令
- 汇编语言-学习笔记（一）
- IDEA常用的搜索快捷键
- 计算机一级考试题库基础知识,计算机一级考试题库（含答案）
- 支付对接常用：关于asp rsa加密
- 字节、腾讯、金山wps、跟谁学、百度 go工程师面试题集锦
- 英语影视台词---无敌破坏王2大脑互联网（2）（我完全被震惊了）
- xgboost算法_XGBoost算法背后的数学：尽可能简单地解释XGBoost算法背后的数学机制...
- 组策略设置屏保的方法
- linux中常用的截图录屏软件
- 图卷积神经网络GCN---空间卷积层代表作
- 仓库管理（库存系统模块）
- 随机洗牌算法+matlab,洗牌算法及 random 中 shuffle 方法和 sample 方法浅析
- php.ini 关闭输出缓冲,php 输出缓冲 Output Control用法实例详解
- Python基础学习之字典（自用）—henu.hjy
- composer php 扩展,Composer 增加自己Laravel的扩展