Tanh的表达式

对tanh求导

对其进行反向传导就是 d*（1+tanhx）（1-tanhx）

而平方映射为μx(1-x)

d对应μ

1+tanhx 对应 x 只是多了一个1

Tanhx（n+1）=d*（1+tanhx（n））（1-tanhx（n））

先写出结论

d
d<0.86 趋近于一个大于零的解
<0.86d<1.19 周期解
1.19<d 无规则混沌解

当d<0.86的时候有一个解就是X=d（1-x^2）这个方程的解图像形如

这时当d=0.86时的图像，图像最终收敛于0.575333034

也就是说当残差小于0.86是对tanh进行反向传导时只要运行次数足够多，比如对0.86这种情况只要迭代次数大于401次就会得到一个确定的值。这样的网络很显然是稳定的。

当d>0.86是图像会分岔，出现倍频周期解

这是d=0.87时的图像 有一大一小两个解

这是d=1.1 时 可以看到两大两小4个解

这是d=1.18可以看到两大两小4个解更加明显，也就是说tanh函数在反向传导时如果d>0.87即便是同样的输入、迭代同样的次数，两次得到的网络也可能不同，或者对同样的输入随着迭代次数的增加输出也不见得稳定。

当d>1.2是图像变的没有规律

比如当d=1.4时

可以想见如果tanh反向传导的残差大于1.4这个网络的性能是很难稳定的，而tanh的输出是-1到1,1.4的残差是可能的。当d更大时输出变化范围更大，更不稳定

对比sigmoid函数

d dx（1-x）
d<1 趋近于0
1<d<2.8 趋近于一个大于零的解
2.8<d<3.5 周期波动
d>3.5 混沌

具体迭代数据

* d(1+f)(1-f)
d 0.1 0.8 -0.86 0.87 1
f 0.1 0.1 0.1 0.1 0.1
1 0.099 0.792 -0.8514 0.8613 0.99
2 0.0990199 0.2981888 -0.23660151 0.22460121 0.0199
3 0.099019506 0.728866752 -0.81185696 0.826112238 0.99960399
4 0.099019514 0.375002607 -0.29316391 0.276258556 0.000791863
5 0.099019514 0.687498436 -0.78608723 0.803602653 0.999999373
6 0.099019514 0.42187672 -0.3285775 0.308173815 1.25409E-06
7 0.099019514 0.657616026 -0.76715167 0.787375143 1
8 0.099019514 0.45403293 -0.35387135 0.330635135 3.14548E-12
9 0.099019514 0.635083279 -0.75230656 0.774891955 1
10 0.099019514 0.477335383 -0.37326997 0.347601939 0
11 0.099019514 0.617720746 -0.7401758 0.764880416 1
12 0.099019514 0.494736864 -0.38884022 0.361013416 0
13 0.099019514 0.604188348 -0.72997082 0.756612303 1
14 0.099019514 0.507965152 -0.40174263 0.371957906 0
15 0.099019514 0.593577124 -0.72119846 0.749633165 1
16 0.099019514 0.518132959 -0.4126906 0.381103603 0
17 0.099019514 0.58523059 -0.71353037 0.743641238 1
18 0.099019514 0.526004126 -0.422152 0.388888007 0
19 0.099019514 0.578655728 -0.70673741 0.738426523 1
20 0.099019514 0.532126039 -0.43044912 0.395611855 0
21 0.099019514 0.573473503 -0.70065366 0.733837396 1
22 0.099019514 0.536902513 -0.43781263 0.401489928 0
23 0.099019514 0.569388553 -0.69515529 0.729761079 1
24 0.099019514 0.54063734 -0.44441285 0.406680428 0
25 0.099019514 0.566169013 -0.69014761 0.726111596 1
d(1+f)(1-f)
d 1.1 1.18 1.19 1.2 1.6 1.9
f 0.1 0.1 0.1 0.1 0.1 5
1 1.089 1.1682 1.1781 1.188 1.584 -45.6
2 -0.2045131 -0.43033566 -0.46162434 -0.4936128 -2.4144896 -3948.884
3 1.053991831 0.961477236 0.936414537 0.907615684 -7.72761605 -29627999.3
4 -0.12198866 0.089162599 0.146522099 0.211480523 -93.9456796 -1.6679E+15
5 1.083630644 1.170619037 1.164452217 1.146331186 -14119.6651 -5.2853E+30
6 -0.19168091 -0.43701174 -0.42357927 -0.37689023 -318983908 -5.3075E+61
7 1.059584272 0.954644476 0.976490918 1.02954451 -1.628E+17 -5.352E+123
8 -0.13499071 0.10461163 0.055293929 -0.07195428 -4.2407E+34 -5.443E+247
9 1.079955259 1.16708656 1.186361672 1.193787098 -2.8773E+69 #NUM!
10 -0.1829337 -0.42726743 -0.48487028 -0.51015316 -1.325E+139 #NUM!
11 1.063188789 0.964582205 0.910231966 0.887692499 -2.808E+278 #NUM!
12 -0.14340744 0.08210578 0.204058544 0.254402432 #NUM! #NUM!
13 1.077377736 1.172045196 1.140448532 1.122335283 #NUM! #NUM!
14 -0.17681707 -0.44095413 -0.3577412 -0.31156379 #NUM! #NUM!
15 1.065609298 0.950560156 1.037705272 1.083513609 #NUM! #NUM!
16 -0.14907549 0.113793761 -0.09143036 -0.20880209 #NUM! #NUM!
17 1.075554147 1.164720156 1.180052183 1.147682025 #NUM! #NUM!
18 -0.1724984 -0.42075619 -0.46710255 -0.38060884 #NUM! #NUM!
19 1.067268734 0.97109779 0.930360092 1.026164296 #NUM! #NUM!
20 -0.15296881 0.067223518 0.159971818 -0.06361579 #NUM! #NUM!
21 1.074260599 1.174667578 1.159546731 1.195143637 #NUM! #NUM!
22 -0.16943942 -0.44821583 -0.41001286 -0.51404197 #NUM! #NUM!
23 1.068419312 0.942941037 0.989948452 0.882913018 #NUM! #NUM!
24 -0.15567181 0.130817396 0.023802453 0.264557524 #NUM! #NUM!
25 1.073342917 1.159806435 1.189325797 1.11601118 #NUM! #NUM!
* d*f*(1-f)
d 0.1 0.2 0.9 1 1.1 1.2
f 0.1 0.1 0.1 0.1 0.1 0.1
1 0.009 0.018 0.081 0.09 0.099 0.108
2 0.000908 0.003665 0.066995 0.0819 0.098119 0.115603
3 9.09E-05 0.000736 0.056256 0.075192 0.097341 0.122687
4 9.09E-06 0.000147 0.047782 0.069538 0.096652 0.129162
5 9.09E-07 2.95E-05 0.040949 0.064703 0.096041 0.134975
6 9.09E-08 5.89E-06 0.035345 0.060516 0.095499 0.140108
7 9.09E-09 1.18E-06 0.030686 0.056854 0.095017 0.144573
8 9.09E-10 2.36E-07 0.02677 0.053622 0.094588 0.148406
9 9.09E-11 4.71E-08 0.023448 0.050746 0.094205 0.151658
10 9.09E-12 9.42E-09 0.020608 0.048171 0.093863 0.15439
11 9.09E-13 1.88E-09 0.018165 0.045851 0.093558 0.156664
12 9.09E-14 3.77E-10 0.016052 0.043749 0.093286 0.158545
13 9.09E-15 7.54E-11 0.014215 0.041835 0.093042 0.16009
14 9.09E-16 1.51E-11 0.012611 0.040084 0.092824 0.161353
15 9.09E-17 3.02E-12 0.011207 0.038478 0.092628 0.162382
16 9.09E-18 6.03E-13 0.009973 0.036997 0.092453 0.163217
17 9.09E-19 1.21E-13 0.008887 0.035628 0.092296 0.163893
18 9.09E-20 2.41E-14 0.007927 0.034359 0.092155 0.164438
19 9.09E-21 4.83E-15 0.007078 0.033178 0.092029 0.164878
20 9.09E-22 9.65E-16 0.006325 0.032078 0.091915 0.165232
21 9.09E-23 1.93E-16 0.005656 0.031049 0.091814 0.165516
22 9.09E-24 3.86E-17 0.005062 0.030085 0.091722 0.165745
23 9.09E-25 7.72E-18 0.004533 0.02918 0.09164 0.165928
24 9.09E-26 1.54E-18 0.004061 0.028328 0.091567 0.166075
25 9.09E-27 3.09E-19 0.00364 0.027526 0.0915 0.166193
* d*f*(1-f)
d 2 3 3.5 3.6 3.8 4
f 0.1 0.9 0.1 0.1 0.1 0.1
1 0.18 0.27 0.315 0.324 0.342 0.36
2 0.2952 0.5913 0.755213 0.788486 0.855137 0.9216
3 0.416114 0.724993 0.647033 0.600392 0.470736 0.289014
4 0.485926 0.598135 0.799335 0.863717 0.946746 0.821939
5 0.499604 0.721109 0.561396 0.423756 0.191589 0.585421
6 0.5 0.603333 0.861807 0.879072 0.588555 0.970813
7 0.5 0.717967 0.416835 0.382695 0.9202 0.113339
8 0.5 0.607471 0.850793 0.850462 0.27904 0.401974
9 0.5 0.71535 0.444306 0.457835 0.764472 0.961563
10 0.5 0.610873 0.864144 0.893599 0.684208 0.147837
11 0.5 0.713121 0.410898 0.342286 0.821056 0.503924
12 0.5 0.613738 0.847213 0.810455 0.558307 0.999938
13 0.5 0.711191 0.453051 0.553025 0.937081 0.000246
14 0.5 0.616195 0.867285 0.889878 0.224049 0.000985
15 0.5 0.709496 0.402856 0.352782 0.660634 0.003936
16 0.5 0.618334 0.84197 0.821977 0.851947 0.015682
17 0.5 0.707991 0.465697 0.526792 0.479305 0.061745
18 0.5 0.620219 0.870882 0.897416 0.948373 0.23173
19 0.5 0.706642 0.393564 0.331418 0.186056 0.712124
20 0.5 0.621897 0.83535 0.797689 0.575468 0.820014
21 0.5 0.705423 0.481392 0.580973 0.928357 0.590364
22 0.5 0.623404 0.873788 0.876396 0.252738 0.967337
23 0.5 0.704315 0.385989 0.389974 0.717674 0.126384
24 0.5 0.624767 0.829505 0.856419 0.769948 0.441645
25 0.5 0.7033 0.494993 0.442675 0.673086 0.986379

用平方映射理解tanh相关推荐

  1. 神经网络的sigmoid激活函数是一种平方映射

    Sigmoid函数的定义为 平方映射对应着的是这个递归的函数 平方映射对应的微分方程是 经过代入变换 可以得出当x→∞ ,μ=1时这个微分方程的解就是sigmoid函数 对于平方映射来说μ是一个非常重 ...

  2. java映射理解_Java反射的理解

    Java反射的理解 反射之中包含了一个「反」字,所以想要解释反射就必须先从「正」开始解释. 一般情况下,我们使用某个类时必定知道它是什么类,是用来做什么的.于是我们直接对这个类进行实例化,之后使用这个 ...

  3. 12.12飞思卡尔芯片的prm mcp和映射理解

    prm文件,是内存的映射地址,用自己写. 1:https://blog.csdn.net/lin_strong/article/details/78127072#commentBox:理解S12(X) ...

  4. ROS中topic重映射理解及验证（remap标签）

    先附上个人总结: remap在node标签<node> ... </node>之外的作用域是其之后的所有节点: <node> ... </node> & ...

  5. 多角度理解sigmoid，relu和tanh激活函数

    sigmoid激活函数 函数表达式: 函数图像: 通过该图,可以看出对于sigmoid激活函数的一下几个特点: 1.当输入大于零时,输出一定大于0.5 2.当输入超过6时,输出将会无限接近于1,该函数 ...

  6. Elliptical Grid Mapping(椭圆映射法)

    解决问题(斜向走速度会比直走速度快) ⭐网上论文(圆盘平方映射)https://arxiv.org/ftp/arxiv/papers/1509/1509.06344.pdf 第五页公式 将以前的坐标x ...

  7. 深度学习激活函数总结（sigmoid，tanh，ReLU，Leaky ReLU，EReLU，PReLU，Softmax，Swish，Maxout，Softplus）

    摘要 本文总结了深度学习领域最常见的10中激活函数(sigmoid.Tanh.ReLU.Leaky ReLU.ELU.PReLU.Softmax.Swith.Maxout.Softplus)及其优缺点 ...

  8. 用神经网络学习Fe原子光谱并反向求导计算权重

    首先构造一个1*26*26的神经网络 根据铁的发射光谱 强度 * 波长10^-10m * 归一化 1000 P 2483.2708 y0 0.566498 600 P 2488.1426 y1 0.5 ...

  9. Python 中的万能之王 Lambda 函数

    Python 提供了非常多的库和内置函数.有不同的方法可以执行相同的任务,而在 Python 中,有个万能之王函数:lambda 函数,它可以以不同的方式在任何地方使用.今天云朵君将和大家一起研究下这 ...

最新文章

  1. Android实时获取音量（单位：分贝）
  2. boost::multiprecision模块cpp_bin_float相关的测试程序
  3. Java黑皮书课后题第4章：*4.14（转换字母等级为数字）编写程序，提示用户输入一个字母等级A、B、C、D或者F，显示对应的数字值4、3、2、1或者0。对其它输入，提示非法等级
  4. javax.validation.UnexpectedTypeException: HV000030: No validator could be found for constraint
  5. SQL HQL JPQL CQL的对比
  6. Python 绝对简明手册
  7. 【数字信号调制】基于matlab GUI PCM编码调制【含Matlab源码 1018期】
  8. 河北计算机应用对口升学,2019年河北省中等职业学校对口升学考试：计算机文化基础+计算机应用基础模拟试卷...
  9. 谨防！黑客是这样偷窥你的智能手机
  10. Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步
  11. python windows开发环境_windows10下搭建Python3.6开发环境
  12. 多极神经元红蓝铅笔手绘,多极神经元手绘图作业
  13. Fires Dynamics Simulator(FDS)软件运行代码说明
  14. matlab 求解高次方程,Matlab求解多元高次方程组
  15. 携程景区爬取 + 保存Excel
  16. 杨百翰大学计算机科学,杨百翰大学
  17. python中glob的用途
  18. 海信提前批电话面试题目
  19. freerdp 解压安装_FreeRDP的安装方法
  20. 记录 2015 年年初跳槽的经历！

热门文章

  1. BFS Sicily 1215: 脱离地牢
  2. 第二章：2.5 卷积辅助求解方法
  3. java mybatis拦截配置_SpringMvc拦截器配置_JavaEE框架(Maven+SpringMvc+Spring+MyBatis)全程实战教程_Java视频-51CTO学院...
  4. HZOJ string
  5. 15.1 自定义分词器
  6. 5.7.4.framebuffer应用编程实践3
  7. windows server 2008 iis 添加ssl证书
  8. C#中动态加载和卸载DLL
  9. Windows的设备驱动框架
  10. 马尔可夫“折棍子”过程 Markovian Stick-breaking Process 在直方图平滑中的应用