TDog的科研（求毕业）之路——多任务图像超分辨率（一）

多任务图像超分辨——论文研读
关注一下几方面的内容：
1.多个任务分别为…
2.网络结构
3.损失函数，各个任务损失函数所占比重
4.训练策略
5.训练数据

一.《联合多任务学习的人脸超分辨率重建》
1.人脸超分辨率与面部特征点检测等相关任务结合起来
2.其中超分辨率主任务使用 3 × 3 的卷积核和共享特征进行人脸重建，特征点检测等辅助任务使用全局均值池化和全连接层得到最终输出。

3.本文使用逐像素求差和感知损失的联合损失 LSＲ作为人脸超分辨率任务的损失函数，对特征点检测辅助任务使用平方损失函数，其他相关辅助任务使用交叉熵损失函数。根据人脸超分辨率、人脸关键点检测、性别分类和表情识别等不同任务的学习难易程度分别设置损失权重λk 为 0. 65、0. 15、0. 1 和 0. 1

4.为了解决多个任务之间收敛速度不同，可以对不同任务的损失函数设置阈值，当某个辅助任务的损失值下降到阈值以下时就停止对该任务的学习，主任务的学习受到所有辅助任务的约束，以避免主干网络陷入不好的局部最优; 随着训练的进行，当辅助任务的损失值下降到阈值以下时，该任务将不再使主任务受益，它们的学习过程即被停止。，将关键点检测、性别分类和表情识别等子任务损失函数的阈值 Tk 分别设置为 0. 003、0. 002 4、0. 001 6
HE初始化、Adam自适应、 batch_size=16，初始学习率设为 0. 000 1，并设置每 500 个 epoch( 迭代次数) 后学习率除以10。
5.实验使用的数据来源于 CelebA 数据集，共选取35000 幅人脸图像，并分别使用 × 4 和 × 8 两种尺度对数据集进行双三次插值下采样，制作两组不同分辨率放大倍数的 LＲ/HＲ人脸图像数据对，每对图像大小为322 /1282和162 /1282。使用前30 000 幅人脸图像作为训练集，将后 5 000 幅人脸图像作为测试集。然后针对分辨率放大 4 倍和 8 倍、是否使用多任务联合学习、是否使用联合损失约束等 3 种情况分别训练了 6 个模型，

对比实验
二.《多任务学习框架下激光全息图像超分辨率重建》
1.处理多幅具有互补信息的低分辨率激光全息图像

采用非局部均值方法，充分利用各低像素图像中的重复性模块，对图像数据信息进行加权平均处理，来实现多任务学习框架下的激光全息图像超分辨率的重建，非局部均值方程
三.《基于多任务的图像超分辨率重建方法研究》
四.《基于多任务深度学习的底层视觉图像处理方法研究》
1.超分辨率与图像着色

网络结构
损失函数与训练策略![在这里插入图片描述](https://img-blog.csdnimg.cn/847132b8a19148f68214307f9785405f.png

为什么越往后图像着色所占比重越大？
训练数据

2.图像超分辨率和运动去模糊
网络结构（合作学习）
损失函数

在这里每个任务的损失相当于是1:1的比列
网络变型

其他不太相关的工作：
一.《Deep Learning for Magnification Independent Breast Cancer Histopathology Image Classification》
1.肿瘤良恶性分类和放大倍数预测
2.网络结构

3.训练数据

就是把不同放大尺度下的图像都放到训练数据集中，一起训练

通过旋转进行了数据增强，并且都裁剪成正方形
4.损失函数

5.训练技巧
测试的时候只使用X40放大的图像进行测试

TDog的科研（求毕业）之路——多任务图像超分辨率（一）相关推荐

刘知远、赵鑫、施柏鑫：AI青年科研人员成长之路
整理 | 刘冰一在6月2日举办的智源大会青源学术年会举办的一个圆桌"青年科研人员成长之路与经验分享"上,清华大学计算机系副教授刘知远.中国人民大学高瓴人工智能学院长聘副教授赵鑫. ...
算法提高课-图论-单源最短路的建图方式-AcWing 1126. 最小花费：dijkstra求最长路
题目分析来源:acwing 分析: 链条转移:start * (1-w1) * (1- w2) * (1- w3) -(1-wn) = 100,要start最小,则w =(1-w1) * (1- w ...
我的求带之路（已成功
文章目录我的求带之路自我反省结合提问的智慧(欣总结版结合模板(欣提供各种灵感来源为什么大佬喜欢装萌新大佬带萌新是怎么样的体验王者荣耀,真心想找个教技术的师傅哪找一个想找徒弟的人的要求 ...
stm32h7高速通信_【STM32H7教程】第75章 STM32H7的SPI总线应用之驱动DAC8501（双路输出，16bit分辨率，0-5V）...
第75章 STM32H7的SPI总线应用之驱动DAC8501(双路输出,16bit分辨率,0-5V) 本章节为大家讲解标准SPI接线方式驱动模数转换器DAC8501,制作了中断和DMA两种 ...
高性能超融合服务器,深信服高性能单路服务器aServer-R-1600超融合一体机
深信服高性能单路服务器aServer-R-1600超融合一体机,CPU性能强,而且价格也便宜,替换3-5台服务器的场景非常合适基础套餐 2节点软件授权包(aSv+aSan);含1年软件升级服务: 2 ...
【STM32F429开发板用户手册】第34章 STM32F429的SPI总线应用之驱动DAC8501（双路输出，16bit分辨率，0-5V）
最新教程下载:http://www.armbbs.cn/forum.php?mod=viewthread&tid=93255 第34章 STM32F429的SPI总线应用之驱动DA ...
VIVADO HLS 学习之路之图像的resize
** VIVADO HLS 学习之路之图像的resize ** 算下来接触vivado已经有半年了,学习fpga也满打满一年半了,零零碎碎的的笔记做过一些,但是记下了却没有复习,基本上等于没有.以后的 ...
超微服务器双路主板系列,超微发布双路至强X12DPL系列服务器主板
[天极网DIY硬件频道]与传统的ATX单插槽主板相比,服务器中双路E-ATX.四路甚至更多CPU插槽的SSB-EEB主板相当常见.服务器制造商超微(Supermicro)为英特尔准备相对"小 ...
雍培：电力遇上大数据，使我的科研如鱼得水 | 提升之路系列（九）
导读为了发挥清华大学多学科优势,搭建跨学科交叉融合平台,创新跨学科交叉培养模式,培养具有大数据思维和应用创新的"π"型人才,由清华大学研究生院.清华大学大数据研究中心及相关院系共 ...

TDog的科研（求毕业）之路——多任务图像超分辨率（一）

TDog的科研（求毕业）之路——多任务图像超分辨率（一）相关推荐

最新文章

热门文章