通常，商业模型以历史数据构建，一旦对模型精确度感到满意，就可以将模型部署到生产中进行实时数据分析。

第一阶段，理解商业问题

在项目初始阶段，重点是从商业角度理解商业问题，商业目标和商业要求，然后将这种理解转化为数据分析问题，采取合适的方法去实现目标和解决问题。

第二阶段，收集和整合数据

需要从各种来源手机数据。理解商业问题后，确定收集数据的过程，包括解决商业问题所需要的参数，如果数据库没有相应的数据，则需要展开调查工作

第三阶段，预处理数据

大多情况下，收集到的数据并不适合构建模型。原始数据可能会包含错误，如格式化冲突，数据类型错误和缺失值。这个过程需要进行数据清洗和归一化

第四阶段，探索和可视化数据

理解数据的特征，数据分布，数据趋势和数据变量之间的关系。对数据形成初始的见解，获取样本中隐藏的相关信息，作为后续推断的基础

第五阶段，选择建模技术和算法

决定是福哦采用监督机制，确定是分类问题还是回归问题，应该采取描述性技术还是预测技术，是否选择线性回归或逻辑回归方法。这些问题取决于商业需求和现有数据

选择模型之后，构建模型，并评估模型的性能

第六阶段，评估模型

使用测量模型精确度的标准方法及模型的现场性能来评估模型。这需要具备统计学，机器学习，算法和解释结果等深厚的知识

第七阶段，管理和审查报告

第八阶段，部署模型

跨行业的数据挖掘过程由6个阶段组成：业务理解，数据理解，数据准备，建模，评估和部署

数据库构建：

运营数据库：供应商管理，供应链，日常业务交易，客户投诉，客户反馈

制造和生产数据库：与制造过程有关的数据，生产细节，供应链管理，生产计划以及机械维修和保养

人力资源和财务数据库：与人力资源和财务职能相关的数据，员工假，人事资料，工作技能，员工和薪水

IT数据库，信息系统相关的数据，IT资产清单，许可详细信息，软件和各种日志

数据仓库：组织内的多个数据库创建的继承数据库

元数据：和数据相关的数据

随机抽样，分层抽样，系统抽样

变量选择：

如果要查找一个Y和一个单个预测变量X之间的关系，那么15个数据点可能会给出结果。但是如果由10个预测变量，15个数据点是远远不够的。统计学家汉考克和戴乐马特在2001年提出一个解决的办法，对任何预测模型，应具有6*m*p个记录，p是变量的数量，m是结果类的数量。拥有记录越多，预测结果越好。

数据准备：

缺失值处理：

方法：忽略之，用均值或众数填补缺失值，用同一个bin的相同属性的均值填补缺失值，根据可能的值预测缺失值：依据数据集中的其他属性，可以根据可能需要的最可能的值填补缺失值。也可以用一些统计技术，如贝叶斯定理或决策树来找出可能的值

数据探索和数据可视化：

探索性分析的目的如下：

确定数据集的分布和其他统计信息

确定数据集是否需要归一化

确定数据集是否对解决商业问题有帮助

指定解决商业问题的蓝图

view查看表格

summary查看汇总表

箱线图，散点图，散点图矩阵pairs, 方格图，相关图，密度分类，数据转换（归一化，数据聚合和平滑）

有时，为了服从正态分布，也许会使用log，指数函数或Box-Cox进行转换

使用建模技术和算法：

描述性分析：

分析解释了隐藏在数据当中的模式。这些模式纯粹基于历史数据，也可以将观测值归集到相同的集群里，这种分析称为聚类分析

类似的，在交易数据库使用关联规则或关联分析，找出百货商店已购商品之间的关联，有助于帮助企业有效地提供折扣，推出新产品和管理库存

预测分析：

预测由两种方法组成：分类和回归分析

分类是数据分析的基本形式，将数据分为各个类别

分类模型的任务是把以前没有发现的一组新数据进行分类

回归预测数值变量的值，例如：公司营业额收入或销售额，连续值可以预测，分类也可以用于预测，因为分类模型预测了未知类标签的新数据分类。用于此用途的一项技术就是逻辑回归

机器学习：

机器学习计遇迭代学习构建模型，挖掘隐藏其中的深刻见解。由于总是有新数据出现，迭代学习就显得格外重要，这样机器可以独立的适应新变化。机器学习已经存在了很长时间，但最近随着计算，存储和编程方面的发展，更多复杂的新算法和注入Hadhoop等大数据框架的出现，使得机器学习也不断发展壮大起来。

分类：监督学习和无监督学习

监督学习：
在训练数据集的帮助下建立的模型，包括：支持向量机，朴素贝叶斯，K-最近邻和决策树

无监督学习：

关联规则和聚类属于无监督学习的例子

基于数据类型的商业分析法

评估模型：

将数据分区，一个用于构建模型，一个用于评估模型

三个区：训练集和测试集，验证集

测试集用于评估模型的性能；验证集用于微调模型性能并减少拟合过度问题

交叉验证：

避免偏差，应随机分配数据集。如果数据量有限，应将数据划分为k个折，k折交叉验证

分类模型评估：

混淆矩阵

提升图：通常用于营销问题，提升曲线有助于确定如何选择相关的小组，获得最大点击量

混淆矩阵把模型作为一个总体进行有效性评估，而提升图则评估总体的一部分

ROC曲线：

是表示分类器性能的另一种方式。近年来，由于简单分类的精度不能很好评估分类器的性能，所以ROC曲线经常被机器学习采用。小于0.5的AUC可能表明模型表现不佳，通常AUC落在0.5-1之间，AUC面积达到1时，时任何机器学习模型的理想目标

研究表明，具有两个分类的算法最适合用于ROC方法。神经网络的例子就是一个合适的分类器，而决策树分类器不太适合

回归模型评估：有很多的性能评估标准，其中之一是均方根误差

提交管理报告和审查：

描述问题：详细描述企业定义的商业问题，并通过模型解释问题，可以唤起组织管理层对数据分析目的的注意

使用的数据集：列举所使用的数据，包括时间段，来源和特征，证明您使用了正确的数据，强调所作的假设

执行数据清洗：说明数据存在的问题，解释数据处理的原因，解释潜藏的数据缺点

创建模型的方法：建模的方法，技术，算法，介绍模型是如何解决问题的，包括模型评估和模型优化

模型部署的前提条件：介绍先决条件，包括数据需求和预处理需求，硬件和软件要求

模型部署和使用：对模型进行解释的相关文档

问题处理：介绍记录观察问题的理想过程，以及报告分析解决问题的方法

使用as.numeric()需要与as.character()一起使用

填充缺失值：

Data$stock[is.na(data$stock]=mean(data$stock,na.rm=TRUE)

View()可以查看表格

方格图，可用于高级绘图（Trellis Plot）

library(lattice)

tax<-cut(houl$TAX,4)

xyplot(MEDV~AGE|tax,data=houl)