DANN loss/acc振荡

（from 22s/神经网络/Assignement3）

使用DANN训练时loss从一开始就在1左右振荡，不下降，改变lr没有作用，在target domain上测试，acc亦振荡，表现不好。

原因：数据没有归一化。

解决：在创建DataLoader时使用ss.fit_transform进行归一化。

ss = StandardScaler()
for i in range(15):dealDataset_src.append(DealDataset(ss.fit_transform(source_data[i]),source_label[i]+1))dealDataset_trg.append(DealDataset(ss.fit_transform(target_data[i]),target_label[i]+1))src_list.append(DataLoader(dataset=dealDataset_src[i],batch_size=64,shuffle=True))trg_list.append(DataLoader(dataset=dealDataset_trg[i],batch_size=64,shuffle=True))

归一化后，在target domain上进行测试时label acc上升，但label loss也上升，此处存疑，原因不详。

DANN loss/acc振荡相关推荐

Loss曲线振荡分析
Loss曲线振荡: 分析原因: 1:训练的batch_size太小 1. 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大,内存不够.但盲目减少会导致无法收敛,ba ...
python生成loss/acc训练曲线
根据训练模型的工作日志生成loss(acc)曲线准备数据利用excel将工作日志中的iter.loss.acc分别提出来单独放置文本文件中,获得iter.txt.acc.txt和loss.txt ...
深度学习：可视化-结果loss acc可视化及测试数据显示
文章预览: 1.可视化train,test的loss acc 1.1 案例:交通指示牌识别案例-history数组 1.2 一张图两条曲线loss 写法总结 step1 定义数组 step2 添加数据 ...
如何根据keras的fit后返回的history绘制loss acc曲线
model.summary() #绘制acc-loss曲线 import matplotlib.pyplot as plt plt.plot(hist.history['loss'],color='r ...
判别器loss为0_TensorFlow v2.0实现逻辑斯谛回归
使用TensorFlow v2.0实现逻辑斯谛回归此示例使用简单方法来更好地理解训练过程背后的所有机制 MNIST数据集概览此示例使用MNIST手写数字.该数据集包含60,000个用于训练的样本和 ...
TensorFlow 2.0 - Keras Pipeline、自定义Layer、Loss、Metric
文章目录 1. Keras Sequential / Functional API 2. 自定义 layer 3. 自定义 loss 4. 自定义评估方法学习于:简单粗暴 TensorFlow 2 ...
神经网络调参：loss 问题汇总（震荡/剧烈抖动，loss不收敛/不下降）
目录 1.模型不收敛主要原因 1.1.learning rate设大了会带来跑飞(loss突然一直很大)的问题 1.2.数据库太小一般不会带来不收敛的问题 1.3.尽量用小模型. 2.模型loss 不 ...
tf2 自定义循环训练，添加metrics(acc、auc、precision、recall)
参考自: https://blog.csdn.net/weixin_41485334/article/details/104393236 文章目录自定义循环训练,加入评估在此基础上训练可视化自定 ...
【TensorFlow-windows】学习笔记三——实战准备
前言因为学习TensorFlow的内容较多,如果只看API会很无聊,可以结合实例去学习.但是在构建基本的模型之前,需要学一些准备知识:数据读取.预处理.优化器.损失函数国际惯例,参考网址: Ten ...

DANN loss/acc振荡

DANN loss/acc振荡相关推荐

最新文章

热门文章