[tensorflow]tensorflow2.0的优化理论

网络容量：训练过程中可以调整参数的数量。即在模型训练过程中有多少参数可以自定义进行调整，能调整得越多，网络容量越多。

拟合：训练结果和真实值之间的接近程度。

过拟合：训练结果和真实值之间非常接近，但是和评估值之间相距较大。

欠拟合：训练结果和真实值之间差距较大，但是和评估值之间差距也较大。

较理想的训练结果就是训练结果和真实值之间非常接近，但是和评估值之间也非常接近，也就是正确率较大，损失率较小。那么在实际训练中如何做到这个目标呢？

一般上创建模型时先尽量做到过拟合，然后根据评估结果进行逐渐调整，常用增加过拟合的方法有：

增加图层数量
增加每个图层的神经数量
增加训练次数
调整学习速率

过拟合后常用以下方法进行调整：

减少图层数量
减少每个图层的神经数量
减少训练次数
添加Dropout图层
调整学习速率

最后，最好的模型是增加训练数据和训练周期。

[tensorflow]tensorflow2.0的优化理论相关推荐

第七章：Tensorflow2.0 RNN循环神经网络实现IMDB数据集训练（理论+实践）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/LQ_qing/article/deta ...
第五章：Tensorflow 2.0 利用十三层卷积神经网络实现cifar 100训练（理论+实战）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/LQ_qing/article/deta ...
Tensorflow2.0数据和部署（二）——基于设备的模型与TensorFlow Lite
文章目录一.概述 1.模型存储 2.量化方法 3.模型验证二.基于安卓的TF模型 1.初始化解释器 2.准备输入 3.调用解释器 4.输出结果三.基于IOS的TF模型 1.初始化 2.准备输入 ...
TensorFlow2.0 Guide官方教程学习笔记20 -‘Effective TensorFlow 2‘
本笔记参照TensorFlow Guide官方教程,主要是对'Effictive TensorFlow 2'教程内容翻译和内容结构编排,原文链接:Effictive TensorFlow 2 高效的T ...
tensorflow2.0支持的python版本-TensorFlow 版本兼容性
本文面向需要在不同版本的 TensorFlow 之间向后兼容(针对代码或者数据)的用户,以及想要修改 TensorFlow 并同时保持兼容性的开发者. 语义化版本控制 2.0 TensorFlow 的 ...
envs\TensorFlow2.0\lib\site-packages\tensorflow\python\framework\dtypes.py:516: FutureWarning 解决方案
import tensorflow后的完整报错: D:\Anaconda3\envs\TensorFlow2.0\lib\site-packages\tensorflow\python\framewo ...
tensorflow 保存训练loss_tensorflow2.0保存和加载模型 (tensorflow2.0官方教程翻译)
最新版本:https://www.mashangxue123.com/tensorflow/tf2-tutorials-keras-save_and_restore_models.html 英文版本: ...
tensorflow2.0及以上版本在使用Session模块时报错：AttributeError: module ‘tensorflow‘ has no attribute ‘Session‘ 已解决
tensorflow2.0版本及之后的版本在使用Session模块时报错:AttributeError: module 'tensorflow' has no attribute 'Session' ...
Tensorflow2.0数据和部署（一）——基于浏览器的模型与TensorFlow.js
文章目录一.总体介绍编程实践 1.创建一个简单的网页 2.编写脚本文件加载TensorFlow.js 3.完整代码 4.从csv文件中读取数据 5.设计更复杂的神经网络二.图像分类 1.编写一个 ...

[tensorflow]tensorflow2.0的优化理论

[tensorflow]tensorflow2.0的优化理论相关推荐

最新文章

热门文章