Machine Learning---感知器学习算法
转载自:http://blog.csdn.net/stan1989/article/details/8565499
引言
这里开始介绍神经网络方面的知识(Neural Networks)。首先我们会介绍几个监督式学习的算法,随后便是非监督式的学习。
一、感知器学习算法基本介绍
1.神经网络
就像进化计算,神经网络又是一个类似的概念。神经网络由一个或者多个神经元组成。而一个神经元包括输入、输出和“内部处理器”。神经元从输入端接受信息,通过“内部处理器”将这些信息进行一定的处理,最后通过输出端输出。
2.感知器
感知器(Perceptron),是神经网络中的一个概念,在1950s由Frank Rosenblatt第一次引入。
3.单层感知器
单层感知器(Single Layer Perceptron)是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。
图1.1
图1.1便是一个单层感知器,很简单一个结构,输入层和输出层直接相连。
接下来介绍一下如何计算输出端。
利用公式1计算输出层,这个公式也是很好理解。首先计算输入层中,每一个输入端和其上的权值相乘,然后将这些乘机相加得到乘机和。对于这个乘机和做如下处理,如果乘机和大于临界值(一般是0),输入端就取1;如果小于临界值,就取-1。
以下就给出一段单层感知器的代码。
- //
- //singlelayer perceptrons(SLP)
- bool slp_calculate_output(constdouble * inputs,constdouble * weights,intnInputs,int & output)
- {
- if(NULL ==inputs || NULL == weights)
- return false;
- double sum =0.0;
- for (int i = 0 ; i < nInputs ; ++i)
- {
- sum += (weights[i] * inputs[i]);
- }
- //这里我们对乘机和的处理:如果大于0,则输出值为1;其他情况,输出值为-1
- if(sum >0.0)
- output = 1;
- else
- output = -1;
- }
- //
单层感知器其简单的特性,可以提供快速的计算。它能够实现逻辑计算中的NOT、OR、AND等简单计算。
但是对于稍微复杂的异或就无能无力。下面介绍的多层感知器,就能解决这个问题。
4.多层感知器
多层感知器(Multi-Layer Perceptrons),包含多层计算。
相对于单层感知器,输出端从一个变到了多个;输入端和输出端之间也不光只有一层,现在又两层:输出层和隐藏层。
图2.2
图2.2就是一个多层感知器。
对于多层感知器的计算也是比较简单易懂的。首先利用公式1计算每一个。
看一下它代码,就能明白它的工作原理。
- //
- //Multi-Layerperceptrons(MLP)
- const unsignedint nInputs =4;
- const unsignedint nOutputs = 3;
- const unsignedint nHiddens = 4;
- struct mlp
- {
- doubleinputs[nInputs+1];//多一个,存放的bias,一般存放入1
- doubleoutputs[nOutputs];
- doublehiddens[nHiddens+1]; //多一个,存放的bias,一般存放入1
- doubleweight_hiddens_2_inputs[nHiddens+1][nInputs+1];
- doubleweight_outputs_2_hiddens[nOutputs][nHiddens+1];
- };
- //这里我们对乘机和的处理:如果大于0,则输出值为1;其他情况,输出值为-1
- double sigmoid (double val)
- {
- if(val >0.0)
- return1.0;
- else
- return-1.0;
- }
- //计算输出端
- bool mlp_calculate_outputs(mlp * pMlp)
- {
- if(NULL ==pMlp)
- return false;
- double sum =0.0;
- //首先计算隐藏层中的每一个结点的值
- for (int h = 0 ; h < nHiddens ; ++h)
- {
- doublesum = 0.0;
- for (int i = 0 ; i < nInputs + 1 ; ++i)
- {
- sum += pMlp->weight_hiddens_2_inputs[h][i]*pMlp->inputs[i];
- }
- pMlp->hiddens[h] = sigmoid (sum);
- }
- //利用隐藏层作为“输入层”,计算输出层
- for (int o = 0 ; o < nOutputs ; ++o)
- {
- doublesum = 0.0;
- for (int h = 0 ; h < nHiddens + 1 ; ++h)
- {
- sum += pMlp->weight_outputs_2_hiddens[o][h]*pMlp->hiddens[h];
- }
- pMlp->outputs[o] = sigmoid (sum);
- }
- return true;
- }
- //
二、感知器学习算法
1.感知器学习
其实感知器学习算法,就是利用第一节介绍的单层感知器。首先利用给的正确数据,计算得到输出值,将输出值和正确的值相比,由此来调整每一个输出端上的权值。
公式2便是用来调整权值,首先 是一个“学习参数”,一般我将它设置成小于1的正数。T便是训练数据中的正确结果, 便是第i个输入端的输入值,便是第i个输入端上面的权值。
2.代码
对于其介绍,我还是附上代码。
- //
- //PerceptronLearning Algorithm(PLA)
- const unsignedint nTests =4; //训练数据的数量
- const unsignedint nInputs =2; //输入端的数量
- const double alpha =0.2; //学习参数
- struct slp
- {
- doubleinputs[nInputs];
- doubleoutput;
- }; //单层感知器
- //计算输出值
- int compute(double *inputs,double * weights)
- {
- double sum =0.0;
- for (int i = 0 ; i < nInputs; ++i)
- {
- sum += weights[i]*inputs[i];
- }
- //bias
- sum += 1.0 * weights[nInputs];
- if(sum >0.0)
- return1;
- else
- return-1;
- }
- //
- int _tmain(int argc,_TCHAR* argv[])
- {
- //正确的训练数据
- slp slps[nTests] = {
- {-1.0,-1.0,-1.0},
- {-1.0, 1.0, 1.0},
- { 1.0,-1.0, 1.0},
- { 1.0, 1.0, 1.0}
- };
- doubleweights[nInputs + 1] = {0.0};
- boolbLearningOK = false;
- //感知器学习算法
- while(!bLearningOK)
- {
- bLearningOK = true;
- for (int i = 0 ; i < nTests ; ++i)
- {
- intoutput = compute(slps[i].inputs,weights);
- if(output!= (int)slps[i].output)
- {
- for(int w = 0 ; w < nInputs ; ++w)
- {
- weights[w] += alpha *slps[i].output * slps[i].inputs[w];
- }
- weights[nInputs] += alpha *slps[i].output ;
- bLearningOK = false;
- }
- }
- }
- for(int w = 0 ; w < nInputs + 1 ; ++w)
- {
- cout<<"weight"<<w<<":"<<weights[w] <<endl;
- }
- cout<<"\n";
- for (int i = 0 ;i < nTests ; ++i)
- {
- cout<<"rightresult:"<<slps[i].output<<"\t";
- cout<<"caculateresult:" << compute(slps[i].inputs,weights)<<endl;
- }
- //
- char temp ;
- cin>>temp;
- return 0;
- }
2.效果图
下面附上运行效果图
三、总结
感知器学习算法,算是神经网络中的最简单的学习算法。但是通过这个进入学习神经网络学习算法,是个不错的选择。
感知器学习算法,只要是利用了单层感知器。这篇文章中,我们还了解到了另一种感知器:多层感知器。多层感知器主要是用于方向传播学习算法中,这个我后面的文章中会进行介绍。
由于笔者不是专门研究人工智能方面,所以在写这些文章的时候,肯定会有一些错误,也请谅解,上面介绍中有什么错误或者不当地方,敬请指出,不甚欢迎。
如果有兴趣的可以留言,一起交流一下算法学习的心得。
声明:本文章是笔者整理资料所得原创文章,如转载需注明出处,谢谢。
Machine Learning---感知器学习算法相关推荐
- 【Python-ML】感知器学习算法(perceptron)
1.数学模型 2.权值训练 3.Python代码 感知器收敛的前提是两个类别必须是线性可分的,且学习速率足够小.如果两个类别无法通过一个线性决策边界进行划分,要为模型在训练集上的学习迭代次数设置一 ...
- 机器学习算法系列(一)- 感知器学习算法(PLA)
阅读本文需要的背景知识点:数学基础知识.一丢丢编程知识 一.引言 前面一节我们了解了机器学习算法系列(〇)- 基础知识,接下来正式开始机器学习算法的学习,首先我们从最简单的一个算法--感知器学习算 ...
- 【Machine Learning】KNN学习算法与C语言实现
KNN学习(K-Nearest Neighbor algorithm,K最邻近方法)是一种统计分类器,属于惰性学习,对包容型数据的特征变量筛选尤其有效.KNN的基本思想是:输入没有标签即未经分类的新数 ...
- 分类系列之感知器学习算法PLA 和 口袋算法Pocket Algorithm
我们有一堆数据,默认他们是线性可分的. 定义f为这个数据分割线的最优解,但是我们不知道他的值. 我们仅有一个函数集H,这个函数一般是无穷大的.我们的目的就是从H中找出一条线g来尽可能的接近f.但是 ...
- ML之NB:基于news新闻文本数据集利用纯统计法、kNN、朴素贝叶斯(高斯/多元伯努利/多项式)、线性判别分析LDA、感知器等算法实现文本分类预测
ML之NB:基于news新闻文本数据集利用纯统计法.kNN.朴素贝叶斯(高斯/多元伯努利/多项式).线性判别分析LDA.感知器等算法实现文本分类预测 目录 基于news新闻文本数据集利用纯统计法.kN ...
- 机器学习(Machine Learning)——深度学习(Deep Learning)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/abcjennifer/article/ ...
- Machine Learning:如何选择机器学习算法?
2019独角兽企业重金招聘Python工程师标准>>> Machine Learning Algorithms Overview 关于目前最流行的一些机器学习算法,建议阅读: Mac ...
- 神经网络与机器学习 笔记—Rosenblatt感知器收敛算法C++实现
Rosenblatt感知器收敛算法C++实现 算法概述 自己用C++实现了下,测试的例子和模式用的都是双月分类模型,关于双月分类相关看之前的那个笔记: https://blog.csdn.net/u0 ...
- 机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现
网址:https://github.com/NLP-LOVE/ML-NLP 此项目是机器学习(Machine Learning).深度学习(Deep Learning).NLP面试中常考到的知识点和代 ...
最新文章
- IDEA IntelliJ 如何给web项目配置tomcat
- 避免误删文件:Linux回收站机制
- mysql中文注释语法报错_Linux系统Python配置MySQL详细教程
- .NET-记一次架构优化实战与方案-前端优化
- python docx包_[Python02] Python-docx包的使用,快速处理 Word 文件!
- python登录界面实现密码在明文与星号间切换_两个API让星号密码框显示成明文
- 04.监控过程组-偏差分析
- 大数据学习笔记23:MR案例——采用Combiner做词频统计
- TCP/IP 网络协议
- Markdown 标记语言指北
- 什么是matlab拟合工具箱,Matlab拟合工具箱的使用
- 2020信息系统项目管理师备战1--开篇(项目范围说明书Project Scope Statement)
- linux下系统中的文件传输
- U盘病毒泛滥 专家解析病毒历史及防范方法
- pms解析--未完待续
- Python 解决execjs._exceptions.ProgramError: ReferenceError: document is not defined报错问题
- 安装配置Apache和php
- 域策略(6)——统一映射共享文件夹
- 比特率 波特率 数据传输速率 区别;波特率与比特率--转换公式
- python读取大智慧数据_大智慧365权息数据格式及读取过程步骤记录
热门文章
- VS Code 下载安装并设置中文面板显示
- OpenGL与shader区别(三十一)
- WebRTC报错:depot_tools/bootstrap_python3: um.8_bin/python3/bin/python3: 没有那个文件或目录(三)
- Android之汽车音频
- repo forall -c 用法
- 详解c++[指针的指针] 和 [指针的引用]
- Smali语法汇总(二)
- 主板插槽接口相关释义
- python处理表格很厉害么_还在用excel?太落伍了,现在都用Python和Jupyter处理数据了...
- Apache Log4j2 远程代码执行高危漏洞 解决方案