宽度 深度学习 特点对比
宽度 & 深度学习 特点对比
- 推荐系统
- 模型介绍
- 实验过程与实验结果
- 实验总结
为了提高神经网络的性能,是应该增加宽度呢?还是应该增加深度呢?增加宽度和增加深度各有什么样的效果呢?
本文对论文《Wide & Deep Learning for Recommender Systems Heng-Tze》中关于宽度模型和深度模型的对比实验进行介绍。
推荐系统
本论文基于推荐系统,推荐系统的运作如图。以APP推荐为例,首先用户在查询入口输入关键字,系统自动将Database中的items对关键字进行匹配,从而Retrieval一定的items,这些items将根据之前使用用户的各种行为数据logs学习到的model进行Ranking,从而将用户更可能下载的APP排在前面。
模型介绍
这里的模型,是针对上图中的Model模型。作者提及在推荐系统中最重要的两个特性是Memorize和generalize。Memorize的过程就是根据以往用户的数据训练模型的过程,类似training;generalize就是使用model对新的输入数据进行预测。
作者对比了三种模型,如下图,分别是宽度模型(wide models),深宽结合模型(wide&deep models)深度模型(deep models)。对于各模型的特点理解,故名思意,不做更多解释。
实验过程与实验结果
作者进行了3周的实时在线实验。对于对照组,作者随机选择1%的用户,并提供由之前版本的排名模型生成的推荐建议,这是一种高度优化的仅限广泛的逻辑回归模型,具有丰富的跨产品特征转换。对于实验组,1%的用户会收到由Wide&Deep models生成的建议,并使用相同的功能集进行训练。如表1所示,Wide&Deep models相对于对照组,应用程序商店主登陆页面上的应用程序获取率提高了3.9%(统计上显着)。结果也与另一个1%组进行比较,仅使用具有相同特征和神经网络结构的模型的深部,并且Wide&Deep models在仅deep models之上具有+ 1%的增益(具有统计显着性)。
除了在线实验,作者器操作员特征曲线下面积(AUC)。 虽然Wide&Deep的离线AUC略高,但对在线流量的影响更为显着。 一个可能的原因是离线数据集中的印象和标签是固定的,而在线系统可以通过将概括与记忆相结合来产生新的探索性建议,并从新的用户响应中学习。
实验总结
记忆和概括对于推荐系统都很重要。 宽线性模型可以使用跨产品特征转换有效地记忆稀疏特征交互,而深度神经网络可以通过低维嵌入来生成以前看不见的特征交互。作者介绍了Wide&Deep学习框架,以结合两种模型的优势。 作者在Google Play的推荐系统上制作并评估了该框架,Google Play是一个大规模的商业应用商店。 在线实验结果表明,Wide&Deep models在仅wide和仅deep models上的应用程序获取方面取得了显着改进。
通俗地讲:
1.wide models能够从训练数据中学习到重要的特征,对训练数据达到高度拟合。但是更换数据后,数据特征改变,wide models的预测能力就会下降,所以说,wide models的泛化能力不够;
2.deep models能够从训练数据中挖掘出更抽象的特征,这使得它具有很好的泛化能力,但是对单组数据来说,它的拟合能力比不上wide models;
3.wide&deep models的结构类似于卷积神经网络中将不同级别的特征层信息进行融合使用,既有低级纹理信息又有高级语义信息;
4.第一条和第二条还可以这样说,wide models容易过拟合,deep models不易过拟合。
宽度 深度学习 特点对比相关推荐
- TensorFlow与主流深度学习框架对比
引言:AlphaGo在2017年年初化身Master,在弈城和野狐等平台上横扫中日韩围棋高手,取得60连胜,未尝败绩.AlphaGo背后神秘的推动力就是TensorFlow--Google于2015年 ...
- 常见的7种深度学习框架对比
框架 简介 优点 缺点 Theano 2008年诞生于LISA实验室,其设计具有较浓厚的学术气息. 作为第一个Python深度学习框架,Theano很好的完成了自己的使命,为之后深度学习框架的开发奠定 ...
- 主流深度学习框架对比
深度学习研究的热潮持续高涨,各种开源深度学习框架也层出不穷,其中包括TensorFlow.Caffe.Keras.CNTK.Torch7.MXNet.Leaf.Theano.DeepLearning4 ...
- 从TensorFlow到DL4J——主流深度学习框架对比分析
从TensorFlow到DL4J--主流深度学习框架对比分析 2022年2月22日 极链AI云 官网地址 点击注册 更多AI小知识,关注<极链AI云>公众号 文章目录 从TensorFlo ...
- TensorFlow、MXNet、Keras如何取舍? 常用深度学习框架对比
作者简介 魏秀参,旷视科技 Face++ 南京研究院负责人.南京大学 LAMDA 研究所博士,主要研究领域为计算机视觉和机器学习.在相关领域顶级国际期刊如 IEEE TIP.IEEE TNNLS.Ma ...
- 主流深度学习框架对比(TensorFlow、Keras、MXNet、PyTorch)
近几年来,深度学习的研究和应用的热潮持续高涨,各种开源深度学习框架层出不穷,包括TensorFlow,Keras,MXNet,PyTorch,CNTK,Theano,Caffe,DeepLearnin ...
- 深度学习框架的来龙去脉——史上最全面最新的深度学习框架对比分析
一.深度学习框架概述与深度学习技术的四大阵营 人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具,这使得人工智能开发依赖的环境安装.部署.测试以及不断迭代改进准确性和性 ...
- MLP神经网络,GRNN神经网络,SVM神经网络以及深度学习神经网络对比识别人体健康非健康数据
目录 一.理论基础 二.案例背景 1.问题描述 2.思路流程 三.部分MATLAB程序 四.仿真结论分析 五.参考文献 一.理论基础 MLP多层感知器神经网络(Multi-layer perceptr ...
- 5个时间序列预测的深度学习模型对比总结:从模拟统计模型到可以预训练的无监督模型
时间序列预测在最近两年内发生了巨大的变化,尤其是在kaiming的MAE出现以后,现在时间序列的模型也可以用类似MAE的方法进行无监督的预训练 Makridakis M-Competitions系列( ...
- TensorFlow领衔,七大深度学习框架大对比!
作者|黄文坚 唐源 编辑|小智 TensorFlow 在 2015 年年底一出现就受到了极大的关注,在一个月内获得了 GitHub上超过一万颗星的关注,目前在所有的机器学习.深度学习项目中排名第一,甚 ...
最新文章
- 电动三轮司机被撞身亡担主责 警方书面回应家属质疑
- 五、Hive架构,安装和基本使用
- Win10开发UWP使用.Net Native编译时遇到的一些问题。
- ant design datepicker处理日期范围操作
- C#如何无客户端连接Oracle数据库
- cobbler安装4个报错汇总及解决方法:ImportError
- 计算机组成与设计---硬件/软件接口---计算机概要与技术
- 微信windows版_微信Windows版更新3.0:小程序可添加至桌面
- 腾讯android一键root工具,腾讯一键root手机版
- whisper数据库
- Windows故障恢复控制台使用方法
- C#招行支付流程(一网通支付-PC扫码支付)
- matlab怎么读txt文件字符串,Matlab中读取txt文件的几种方法
- PTA 【java】7-2 将数组中的数逆序存放 (20 分)
- Tensorflow 从bin文件中读取数据并
- Python脚本操作Excel实现批量替换
- i686-pc linux gnu,交叉编译: --host --build --target到底什么意思?
- 拉绳位移传感器的零线有电吗?
- 解决:Plug-in org.eclipse.wst.jsdt.ui was unable to instantiate class org.eclipse.wst.jsdt.inte
- Yapi安装/修改账户密码