笔记+R︱信用风险建模中神经网络激活函数与感知器简述
每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~
———————————————————————————
本笔记源于CDA-DSC课程，由常国珍老师主讲。该训练营第一期为风控主题，培训内容十分紧凑，非常好，推荐：CDA数据科学家训练营
——————————————————————————————————————————
一、信用风险建模中神经网络的应用
申请评分可以将神经网络+逻辑回归联合使用。
《公平信用报告法》制约，强调评分卡的可解释性。所以初始评分（申请评分）一般用回归，回归是解释力度最大的。
神经网络可用于银行行为评级以及不受该法制约监管的业务（P2P）。其次，神经也可以作为申请信用评分的金模型。
金模型的使用：一般会先做一个神经网络，让预测精度（AUC）达到最大时，再用逻辑回归。
建模大致流程：
一批训练集+测试集+一批字段——神经网络建模看AUC——如果额定的AUC在85%，没超过则返回重新筛选训练、测试集以及字段；
超过则，可以后续做逻辑回归。
——笔记︱风控分类模型种类（决策、排序）比较与模型评估体系（ROC/gini/KS/lift）
——————————————————————————————————————————
二、激活函数
神经网络模型中，激活函数是神经网络非线性的根源。
1、sigmoid函数=Logit
其实就是逻辑回归的转化，神经网络=逻辑回归+变量的自动转化
如果激活函数是sigmoid的话，神经网络就是翻版的逻辑回归，只不过会自动转化（适合排序）
2、高斯型函数
适合分类+聚类，识别类（欺诈行业很好，因为行为跟别人不一样，属于异常），在二维空间中就是等高线。
——————————————————————————————————————————
三、感知器
1、单感知器——无隐藏层
Delta规则，w就是权重。很重要
单层感知器，相当于只要了神经网络的输入层以及输出层，比较简单，所以感知器其实相当于线性回归，也叫做线性神经网络，没有隐藏层
2、多层感知器——加入隐藏层
两个隐藏层可以做任何复杂形状域。隐藏层因为属于黑箱，隐藏层越多，会产生过拟合现象（泛化能力不强），并且模型稳健性较差，但是要是模型调试的好，也是一匹“黑马”。
回归出现的所有错误（多重共线性（需进行变量筛选）、缺失值），神经网络都会出现，因为当激活函数为sigmoid时，等同于逻辑回归。
3、BP神经网络——多层感知器
BP神经网络对数据有严格要求，需要做极差标准化。
△，小，就会摆动；大，乱跑；设置多少没有定论
——————————————————————————————————————————
四、BP神经网络-R语言实现——nnet包+AMORE包
BP神经网络需要对数据进行标准化，所以建模之间切记要进行标准化。
library(nnet)
help(package="nnet")
model_nnet<-nnet(y~., linout = F,size = 24, decay = 0.01, maxit = 100,trace = F,data = train) #对分类数据预测需要加上y参数 #decay就是eta权重的调节，默认为0#linout=F默认，线性回归；T代表逻辑回归（激活函数只有一个sigmoid）#size就是隐藏层的个数，若size=0就是单感知器模型linout=F代表线性回归，T代表逻辑回归（激活函数为sigmod）;
maxit代表最大循环迭代的次数，该值并不是越大越好，越大过拟合现象更严重，要调节在适当的数量。
size代表隐藏层大小，也跟迭代次数一样，层次越多过拟合现象加重，就会把训练集的很多噪声都拿来做建模，虽然训练集的精度高了，但是测试集的精度反而弱了，就是因为训练集噪声不适合于测试集的噪声。
BP神经网络调节模型精度AUC值的话：一般会选择调整maxit（最大迭代次数）+size（隐藏层大小）来调整最优精度。这里可以自编译一些函数来实现，CDA-DSC课程中就有一个自编译函数来进行选择。但是会耗费大量的运行速度。
AMORE包有待继续深入研究。
————————————————————————————
应用一：报错Error in nnet.default(x, y, w, entropy = TRUE, ...)
Error in nnet.default(x, y, w, entropy = TRUE, ...) : too many (1209) weights这个是因为隐藏层多了之后，运算不了，台式机不能运行那么多，所以要通过调整size的隐藏层个数来看效果如何。
每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~
———————————————————————————
笔记+R︱信用风险建模中神经网络激活函数与感知器简述相关推荐
- 【机器学习】为什么在信用风险建模中首选树模型？
信用风险建模是一个可以使用机器学习来提供解决方案的领域,因为它能够从大量异构数据中找到答案.在信用风险建模中,还需要推断特征,因为它们在数据驱动的决策中非常重要. 在这篇文章中,我们来研究什么是信用风 ...
- 感知器及其在python中的实现_感知器及其Python实现
感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的.感知器可谓是最早的人工神经网络.单层感知器是一个具有一层神经元.采用阈值激活函数的前向网络.通过对网络权值的训练,可以 ...
- 人工神经网络：多层感知器
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一.今日所学 二.今日重点 前言 虽然异或问题成为感知器和早期神经网络的阿喀琉斯之踵,但它并非无解的问题.恰恰相反,解 ...
- 感知器及其在python中的实现_感知器及其在Python中的实现
什么是感知器? 生物神经元示意图 感知器的概念类似于大脑基本处理单元神经元的工作原理.神经元由许多由树突携带的输入信号.胞体和轴突携带的一个输出信号组成.当细胞达到特定阈值时,神经元会发出一个动作信号 ...
- 神经网络 - 用单层感知器实现多个神经元的分类 - （Matlab建模）
训练样本矩阵: P = [0.1 0.7 0.8 0.8 1.0 0.3 0.0 –0.3 –0.5 –1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 ...
- 为什么在反向传播中感知器初始值不能为0_深度学习理论分享之——单层感知器简述...
1单层感知器概述单层感知器(Single Layer Perceptron)是最简单的神经网络.它包含输入层和输出层,而输入层和输出层是直接相连的.单层感知器属于感知器中最简单的一种分类器,属于机器学 ...
- 神经网络基础知识--感知器，S型神经元，梯度下降法，神经网络架构
感知器和S型神经元简介 1.1感知器 感知器是如何⼯作的呢?⼀个感知器接受⼏个⼆进制输⼊,x1, x2, -,并产⽣⼀个⼆进制输出: ⽰例中的感知器有三个输⼊,x1, x2, x3.通常可以有更多或更 ...
- 笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包）
每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 本内容来源于CDA-DSC课程内容,原内容为& ...
- 笔记+R︱Logistics建模简述（logit值、sigmoid函数）
本笔记源于CDA-DSC课程,由常国珍老师主讲.该训练营第一期为风控主题,培训内容十分紧凑,非常好,推荐:CDA数据科学家训练营 ---------------------------------- ...
最新文章
- Redis 的持久化方案
- java实体 和 xml相互转换
- 如何在 SAP Hybris WCMS cockpit 里创建新的 website
- android 悬浮窗 输入框_利用DecorView实现悬浮窗的效果
- 【Java】反射、枚举、Lambda表达式
- chrome无法拖拽离线安装CRX格式插件解决方法
- 根据需求增加或删除表格行
- python编写程序判断数据类型_python中如何判断一个变量的数据类型
- Microsoft caffe cifar实例编译之model的生成
- 洛谷——P1287 盒子与球
- 网博士自助建站系统_自助建站系统软件不一样的建站方式
- 解决【Windows+Delphi+多线程+String】效率低的问题
- 欧拉坐标与拉格朗日坐标
- 我的博客转到http://wangxin19871010.blog.163.com/
- bzoj3772: 精神污染
- Java-给会员打折
- 被你们恶搞多年，鲁迅终于坐不住了：求求你们了！我没说过！
- 一个人在家简单吃点小火锅，搭配点小海鲜
- 解决idea中每次创建项目都要重复配置maven，全网几步配置
- postgres 源码解析33 进程间通信--1