贝叶斯优化混合核极限学习机回归预测

今天，本文基于MATLAB，首先构建基于RBF核函数与多项式核函数的混合核极限学习机模型；其次，针对RBF的一个核参数g与多项式的两个核参数poly1与poly2，RBF核矩阵的权重w（POLY就是1-w），以及正则化系数共5个超参数，采用贝叶斯框架进行优化。最后与单核的核极限学习机、混合核极限学习机进行对比，采用贝叶斯优化的混合核极限学习机回归具有最高的精度。

如下为不同函数的核矩阵。混合核就是用w*kernal_matrix1+(1-w)*kernal_matrix2 作为一个整体的核矩阵。因此w也是超参数之一。

function omega = kernel_matrix(Xtrain,kernel_type, kernel_pars,Xt)nb_data = size(Xtrain,1);%nxm  样本数n,特征数为m
if strcmp(kernel_type,'RBF_kernel'),if nargin<4,XXh = sum(Xtrain.^2,2)*ones(1,nb_data);%nxnomega = XXh+XXh'-2*(Xtrain*Xtrain');omega = exp(-omega./kernel_pars(1));elseXXh1 = sum(Xtrain.^2,2)*ones(1,size(Xt,1));XXh2 = sum(Xt.^2,2)*ones(1,nb_data);omega = XXh1+XXh2' - 2*Xtrain*Xt';omega = exp(-omega./kernel_pars(1));end
elseif strcmp(kernel_type,'poly_kernel')if nargin<4,omega = (Xtrain*Xtrain'+kernel_pars(1)).^kernel_pars(2);elseomega = (Xtrain*Xt'+kernel_pars(1)).^kernel_pars(2);end
elseerror('核类型错误')
end

2.结果

2.1 单核的核极限学习机

2.2混合核极限学习机

2.3 贝叶斯优化混合核极限学习机

%% 选择要使用贝叶斯优化对哪些变量进行优化，并指定搜索范围。此外，指定变量是否为整数以及是否搜索对数空间中的区间。优化以下变量：
% rbf核的核参数rbf 范围是1e-3 1e3
% poly核的第一个核参数poly1 范围是1e-3 1e3
% rbf核的第二个核参数poly2 范围是1 10 ，幂是整数
% 正则化系数lambda 1e-3 1e3
% 组合核中rbf的权重w 0-1 ，poly是1-w
optimVars = [optimizableVariable('rbf',[1e-3 1e3])optimizableVariable('poly1',[1e-3 1e3])optimizableVariable('poly2',[1 10],'Type','integer')optimizableVariable('lambda',[1e-3 1e3])optimizableVariable('w',[0 1])];
% 使用训练数据和验证数据作为输入，为贝叶斯优化器创建目标函数。目标函数训练一个HKELM并返回对验证集的均方误差
ObjFcn = makeObjFcn(P_train,T_train,P_test,T_test);
BayesObject = bayesopt(ObjFcn,optimVars,...'MaxObj',10,...'MaxTime',0.5*60*60,...'IsObjectiveDeterministic',false,...'UseParallel',false);
% 加载在优化中找到的最佳网络及其验证准确度。
bestIdx = BayesObject.IndexOfMinimumTrace(end);
fileName = BayesObject.UserDataTrace{bestIdx};

根据上述优化得到的最佳可行点（即最佳超参数）进行混合核极限学习机回归的建模，得到的结果如下

3：还有更多哦

1.贝叶斯优化混合核极限学习机用于回归预测
2.粒子群PSO优化混合核极限学习机用于回归预测
3.鲸鱼WOA优化混合核极限学习机用于回归预测
4.遗传GA优化混合核极限学习机用于回归预测
5.麻雀SSA优化混合核极限学习机用于回归预测
6.贝叶斯优化混合核极限学习机用于分类

代码链接：点这里

贝叶斯优化混合核极限学习机回归预测相关推荐

基于贝叶斯优化混合核支持向量机的回归方法
目前人工智能和深度学习越趋普及,构建一个回归或者分类模型十分容易,但是想要得到更好的精度却较为困难,其主要原因是模型超参数的选择.那么要想模型效果好,手动调参少不了,机器学习算法如SVM就有gamma ...
灰狼算法(GWO)优化混合核极限学习机(HKELM)分类预测，多输入单输出模型，GWO-HKELM分类预测。
%采用混合核函数类型:RBF核函数和poly核函数 function omega = kernel_matrix(Xtrain,kernel_type1, kernel_type2,kernel_pa ...
基于深度混合核极限学习机的多变量输入时间序列预测
0.前言深度混合核极限学习机的时间序列预测方法:首先采用多层ELM-AE实现抽象特征提取,然后将提取的抽象特征用来训练一个混合核极限学习机实现分类.深度混合核极限学习机实际上是由多层极限学习机+HK ...
回归预测 | MATLAB实现贝叶斯优化门控循环单元(BO-GRU)多输入单输出
回归预测 | MATLAB实现贝叶斯优化门控循环单元(BO-GRU)多输入单输出目录回归预测 | MATLAB实现贝叶斯优化门控循环单元(BO-GRU)多输入单输出基本介绍背景回顾模型介绍 ...
回归预测 | MATLAB实现Bayes-LSTM(贝叶斯优化长短期记忆神经网络)多输入单输出
回归预测 | MATLAB实现Bayes-LSTM(贝叶斯优化长短期记忆神经网络)多输入单输出目录回归预测 | MATLAB实现Bayes-LSTM(贝叶斯优化长短期记忆神经网络)多输入单输出基 ...
ALO_DELM 蚁狮算法优化深度极限学习机回归预测算法
ALO_DELM 蚁狮算法优化深度极限学习机回归预测算法蚁狮算法优化 ELM-AE网络结构 Ant Lion Optimization Deep Extreme Learning Machine ...
多任务进化优化算法(二) 多因子进化算法(MFEA)的理论基础、多任务贝叶斯优化以及MFEAII简介
摘要此篇博客主要介绍了MFEA理论推导及其改进算法MFEA-II.在多任务优化的情景下,如果任务之间存在潜在关系,那么高质量的解在这些任务之间的转移可以显著提高算法的性能.然而有的时候缺乏关于任 ...
使用贝叶斯优化工具实践XGBoost回归模型调参
0. 关于调参 0.1. 超参数在机器学习的上下文中,超参数(hyper parameters)是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据.通常情况下,需要对超参数进行优化,给学 ...
超参数优---贝叶斯优化及其改进（PBT优化）
目录参考文献: 简介贝叶斯优化方法为什么好贝叶斯优化的适用条件贝叶斯优化的历史与在神经网络中的应用贝叶斯优化基本原理与流程贝叶斯优化的经典变种及其文章 Python中的贝叶斯优化库贝叶斯 ...
贝叶斯优化优秀论文总结目录
持续更新中,论文均来自该领域的优秀会议或期刊,涉及的领域主要是贝叶斯优化,离散贝叶斯优化.本人才疏学浅,若读者发现有不对的地方,欢迎留言评论指正. Bayesian optimization 标题发 ...

贝叶斯优化混合核极限学习机回归预测

贝叶斯优化混合核极限学习机回归预测相关推荐

最新文章

热门文章