[Kaggle]图片去噪题解阅读笔记
原文在这里
* Image Processing + Machine Learning in R: Denoising Dirty Documents Tutorial Series
要站在巨人的肩膀前进啊。拜读一下,吸收经验。
photoshop有一个曲线命令,横轴是输入的值域,纵轴是输出的值域,这里的denoising简单的话其实可以看做是怎样生成这条曲线(可以发现手动调整很难调啊!(・ิϖ・ิ))。当然复杂的情况,输入除了考虑原始像素还能加其他东西(比如相邻像素啥的)。
还是要记点笔记,不然文章粗略扫过去没吸收啥玩意。
Part 1: Least squares regression
居然用LR?! 有点小震惊。 X是脏图像的值(每个像素点),Y是干净图像的值。这样算出来只有一个权重和intercept term。感觉没啥用,跟直接原原始值切分不是一样么?唯一的好处估计就只有最后predict的时候,阈值选取比较方便了?
#这个拼接语句写错了#dat = rbind(dat, cbind(y, x, x2))#最后predict,注意训练的时候也是过滤掉异常值了。y[y < 0] = 0y[y > 1] = 1
Part 2: Image thresholding & gradient boosting machines
kmeans 聚成3个cluster,白、噪声、文字。然后取噪声和文字的中间值做边界。
然后把原始值和kmeans处理后的二值灌给gbm去学。
感觉确实需要一个”基准”值,不然单独原值X信息很不够啊。
Part 3: Adaptive thresholding
咖啡杯印也是深色的,很难分开,用了library(“EBImage”)的Image和thresh函数
Part 4: Canny edge detection & morphology
3、4用了图像检测的一些包,没啥意思。
Part 5: Median filter function & background removal
中值滤波器(图像处理估计很常见?),就是取一块图像的中间值,”效果”上能得到图像的背景。这个倒有点意思。 怎么过滤?5*5的话,要平均25张图片的值,for x偏移1到5 * for y偏移1到5,这25张图,当然边缘会有一些问题。
Part 6: Nearby pixels & brute force machine learning
把去背景后的图片和中值滤波的中间结果(也就是一个像素周围25个像素值)一起丢给xgboost,用机器学习简单粗暴去学,啥图像处理的domain knowledge都不需要,ml大法好啊(╬▔ ω▔)。
Part 7: Stacking
模型太多跑不动,看来跟我的电脑差不多啊。分治一下。
子模型都差不多的话,可以求和平均一下。如果模型有某一个特别好,貌似直接用那个最好的就行了。我自己上次的经验。
Part 8: Feature engineering (gaps between lines of text)
很直观的一个就是文字中间有白的间隙。
Part 9: Exploiting leakage
利用信息”泄露”。指用了predict时候不知道的信息(这里具体指背景其实只有8种,分别训练一下就可以了,虽然没保证过预测集的背景也一样,不过这里简单的情况刚好一样)。通常会提高效果。有点ticky,不过确实有效。特别是比赛,能发现leakage也是一种数据嗅觉啊。
Part 10: Convolutional neural networks
图像的话,看来卷积还是大杀器啊。代码没贴,囧。
Part 11: Deep neural networks
在我看来,10和11不都是deep learning么?
Part 12: Final ensemble
讲了bagging的一个要点
if each model has statistically independent errors, and each model performs with similar accuracy, then the average prediction across the 4 models will have half the RMSE score of the individual models
kaggle上的blog不全,还是得跳到作者的主页去看看。
I therefore chose the following combination of models:
- deep learning – thresholding based features
- deep learning – edge based features
- deep learning – median based features
- images with backgrounds removed using information leakage
- xgboost – wide selection of features
- convolutional neural network – using raw images without background removal pre-processing
- convolutional neural network – using images with backgrounds removed using information leakage
- deep convolutional neural network – using raw images without background removal pre-processing
- deep convolutional neural network – using images with backgrounds removed using information leakage
小结
- 图像背景去噪居然也可以用ml,脑洞开了点。
- domain knowledge还是挺重要的,不过直接用ml brute force其实效果也还可以的,不要太灰心,如果对名次没强求的话。图像处理还是要用神经网络好
- information leakage啊,对数据要敏感。
- model ensemble。kaggle标配。
[Kaggle]图片去噪题解阅读笔记相关推荐
- DnCNN论文阅读笔记【MATLAB】
DnCNN论文阅读笔记 论文信息: 论文代码:https://github.com/cszn/DnCNN Abstract 提出网络:DnCNNs 关键技术: Residual learning an ...
- 深度学习超分辨率综述阅读笔记(翻译)
深度学习超分辨率综述阅读笔记(翻译) https://arxiv.org/abs/1902.06068 摘要:图像超分辨率(SR)是计算机视觉中增强图像和视频分辨率的一类重要图像处理技术.近几年来,图 ...
- 《Deep Learning for Computer Vision withPython》阅读笔记-PractitionerBundle(第9 - 11章)
9.使用HDF5和大数据集 到目前为止,在本书中,我们只使用了能够装入机器主存储器的数据集.对于小数据集来说,这是一个合理的假设--我们只需加载每一个单独的图像,对其进行预处理,并允许其通过我们的网络 ...
- 基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记 原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括 论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...
- DGP 论文阅读笔记
DGP 论文阅读笔记 论文题目:Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation Ex ...
- VINS-Mono代码阅读笔记(十):vins_estimator中的非线性优化
本篇笔记紧接着VINS-Mono代码阅读笔记(九):vins_estimator中的相机-IMU对齐,初始化完成之后就获得了要优化的变量的初始值,后边就是做后端优化处理了.这部分对应论文中第VI部分, ...
- 封面选择-NIMA阅读笔记
封面选择-NIMA阅读笔记 摘要 简介 A.相关工作 B.我们的贡献 C.AVA数据集 D.TID2013数据集 E. LIVE数据集 2.本文方法 A.损失函数 3.实验结果 A.表现比较 B.交叉 ...
- T5: Text-to-Text Transfer Transformer 阅读笔记
作者:徐啸 知乎专栏:自然语言处理学习之旅 https://zhuanlan.zhihu.com/p/89719631 写在前面 谷歌用一篇诚意满满(财大气粗)的基于实验的综述,试图帮助研究者们「拨开 ...
- Qt文档阅读笔记-QWebEngineView及QML WebEngineView
这里主要是最近有给Java Web项目及Qt项目需要混合,自己搞的QtWebEngine没有问题,而用了项目里面的,就有问题,在此阅读下官方资料,看看能不能解决这样莫名其妙的问题,在此记录下本次的阅读 ...
最新文章
- POJ-2955 Brackets
- ARM Linux (S3C6410架构/2.6.35内核)的内存映射(三)
- 了解下SOAP Envelope 元素
- WebSpider的编码问题(乱码)浅析
- 在Git存储库中查找并恢复已删除的文件
- python--输出spwm的数组
- 间接寻址级别不同_详解西门子间接寻址之地址寄存器间接寻址
- GDIPlus灰度化图像
- 深入了解scanf() getchar()和gets()等函数之间的区别
- *计算机应用基础* 说课稿,中职计算机应用基础《EXCEL中函数的使用》说课稿.doc...
- Adobe MasterCollection CS5 试用版下载链接
- android java 图像显示不出来_Java-Android Studio无法在图像视图中显示图像
- 推荐一款windows下好用的文件夹加密、文件加密软件(含使用说明)
- EhCache的使用
- 计算机音量程序是哪个键,计算机键盘上的哪个键是音量
- 证券交易2-券商柜台系统
- html制作问卷调查,如何通过jQuery制作一个在线问卷调查
- 【转载】ubuntu16.04 无线/Wifi 上网速度慢的解决方法
- 最近在听--《谁杀死了知更鸟》
- 联想服务器CPU系列,联想推出采用第三代英特尔至强处理器的ThinkSystem SR860 V2服务器...
热门文章
- 解密“CDO-首席数据官”的价值、挑战及发展
- 如何用matlab画烧杯,DLA模型的Matlab程序.doc
- RecyclerView 源码分析
- citrify免费在线图片处理云软件
- Aizu - 2224 Save your cats 最大生成树
- Excel如何建立个人月考勤表
- WordPress个人资料中直接修改用户名插件Username Changer
- BZOJ 1455: 罗马游戏( 配对堆 + 并查集 )
- 跟益达学Solr5之Facet一瞥
- 大数据盘点2019上半年倒闭的44家餐厅的7种死法,千万别中招了!