深度学习发展与机器学习

背景

1.遥感影像行业现状

遥感影像
应用：
农业，林业，土地调查，减灾，军事，智慧城市建设
优点：
易获取，覆盖面广，时效性高，光谱信息丰富
缺点：
数据量大，数据质量良莠不齐，无法实现影响自动翻译
2.遥感图像理解

3.卷积神经网络发展史
简单的单层神经网络不能解决异或问题————Back Propagation算法，BP算法————卷积神经网络用于自然图形中物体识别————千层机器学习模型相继被提出，支撑向量机（SVM），Boosting,最大熵权法（LR，Logistic Regression）

卷积神经网络基础概念

机器学习

1.存在问题：
图像识别
语音识别
自然语言理解
天气预测
基因表达
内容推荐
2.一般思路流程：

特征的选取很重要，这是一个很难的问题
3.经典定义
利用经验改善系统自身性能

随着领域发展，目前主要研究智能数据分析的理论和算法，已经成为智能数据分析技术的源泉之一
4.机器学习框架举例

目标函数：选取模型进行拟合
损失函数：评估当前模型，减少误差
机器学习-线性回归
（1)数据

（2)选择目标函数与损失函数

（3）L（w,b）最小

（4）求偏导，利用梯度下降算法

求解使用梯度下降算法
学习率为常数，但是下降幅度随斜率变化而变化。
1.初始化参数信息w0,b0
2.计算每个偏导数
3.选择合适学习率
4.选择迭代终止条件（例（大多数）如迭代20次，损失函数值（不是很好判断））

（5）梯度下降算法代码

迭代历程

问题：超参数设置难
超参数设置不同
1.初始化值不同
结果可知，其损失函数值不同，需要迭代次数不同
同一个学习率，不同的初始值，观察损失函数值，第一个下降过快，且没有收敛的趋势，迭代次数不够，而下降过快即说明该初始值下学习率过大，可以选择改变学习率或者改变初始值；第二个损失函数值随后下降很小，则迭代次数适当，学习率以及初始值都是最好的

2.学习率不同

损失函数来回变化，则是学习率过大；变化太小，则是学习率太小
对于局部最优与整体最优
实际数据中，会存在数据形成很多大坑，梯度下降的时候可能在大坑中逐步收敛，此时只是得到局部最优。所以，学习率的选择很重要，根据经验，一般为0.001到0.003
（6)P次的梯度下降算法
增加参数
（7）数据预测

损失函数值大，反映出过拟合问题，可能是目标函数选择模型存在问题，因为经过判断，参数，学习率，迭代次数，损失函数都没有问题，因而目标函数出现问题，线性模型选择有问题。
（8）选择新的目标函数
机器学习，既可以使用原有特征，也可创造新的特征，即x创造x的次方，三次方等

呢么，应该截至选择到几次方？
（9）模型的选择

过拟合和欠拟合问题

总结：