圆栗子 编译自 blog.piekniewski.info 
量子位 报道 | 公众号 QbitAI

前几天，Uber AI实验室发布了一篇非常瞩目的论文，说卷积神经网络 (CNN) 在一些很简单很直接的任务里面，会失守。

比如，一张白色图片，上面有个黑点。给CNN喂食这个点的 (i,j) 坐标，它就是画不出原来那幅图。

总结起来，监督渲染、监督坐标分类，以及监督回归，对CNN来说都是大难题。

于是，团队提出了CoordConv，来回收这些失陷的领土。



不过很快，这篇论文，和拯救CNN的主角CoordConv，就被一篇有点长的博文“鞭尸”了。

博客的主人Filip Piekniewski (暂称菲菲) 说，他给这项研究做了尸检。

加个特征，而已

首先，关于 (上文白纸黑点) 定位问题，Uber团队发现，CNN不擅长把笛卡尔坐标 (i,j) 转换成独热像素空间 (One-Hot Pixel Space) 里的位置。

菲菲提到，CNN的结构，从福岛邦彦新认知机 (Neocognitron) 的年代开始，基本就设计成“忽略位置”的了。



而CoordConv要做的，就在给神经网络的输入里，加上两个坐标通道，一个i一个j，明确告诉AI哪是哪。

果然很有道理啊。可是……

总感觉，随便一个小伙伴在实操的时候，都能对CNN做个类似的小加工，就是加个特征，解码起来更舒服嘛。

菲菲说，做计算机视觉的同行们，没有人会觉得加了几个特征就是不得了的事情。

△ 平平无奇

虽然，有一个非常火热纯学术辩题，就是一些学者认为，大家只应该用那些学习到的特征 (Learned Features) ，而经济实用派的选手们不同意。

从这个角度上来说，如今现在深度学习圈的人们，也开始认同特征工程 (Feature Engineering) 了，可以可以可以。

训练成果，啊这也需要训练？

加了一层坐标之后，团队就测试了一下神经网络的表现。

可爱的是，这里用的数据集名字叫“Not-So-Clevr”。



任务就是，用坐标生成独热图像，以及用独热图像生成坐标。

结果表明，神经网络的性能确实比没加那一层的时候，好了一些。

不过，如果这些人不要那么激动，坐下冷静冷静，可能就会发现，直接搭一个能把笛卡尔坐标和独热编码互相转换的神经网络，不就好了么？

菲菲有了这个想法，就自己写了一串代码——

 1import scipy.signal as sp 2import numpy as np 3# Fix some image dimensions 4I_width = 100 5I_height = 70 6# Generate input image 7A=np.zeros((I_height,I_width)) 8# Generate random test position 9pos_x = np.random.randint(0, I_width-1)10pos_y = np.random.randint(0, I_height-1)11# Put a pixel in a random test position12A[pos_y, pos_x]=113# Create what will be the coordinate features14X=np.zeros_like(A)15Y=np.zeros_like(A)16# Fill the X-coordinate value17for x in range(I_width):18   X[:,x] = x19# Fill the Y-coordinate value20for y in range(I_height):21   Y[y,:] = y22# Define the convolutional operators23op1 = np.array([[0, 0, 0],24                [0, -1, 0],25                [0, 0, 0]])26opx = np.array([[0, 0, 0],27                [0, I_width, 0],28                [0, 0, 0]])29opy = np.array([[0, 0, 0],30                [0, I_height, 0],31                [0, 0, 0]])32# Convolve to get the first feature map DY33CA0 = sp.convolve2d(A, opy, mode='same')34CY0 = sp.convolve2d(Y, op1, mode='same')35DY=CA0+CY036# Convolve to get the second feature map DX37CA1 = sp.convolve2d(A, opx, mode='same')38CX0 = sp.convolve2d(X, op1, mode='same')39DX=CA1+CX040# Apply half rectifying nonlinearity41DX[np.where(DX<0)]=042DY[np.where(DY<0)]=043# Subtract from a constant (extra layer with a bias unit)44result_y=I_height-DY.sum()45result_x=I_width-DX.sum()46# Check the result47assert(pos_x == int(result_x))48assert(pos_y == int(result_y))49print result_x 50print result_y

一个卷积层，一个非线性激活，一个加和，一个减法。解决战斗。

他说，这种事情，就别花时间训练了。

100个GPU

论文主体结束之后，正片才开始。

Appendix里面，有这样一个表格。



Uber团队拿他们的坐标特征，在ImageNet上搞了一下。

具体做法是，加在了ResNet-50的第一层。

菲菲觉得，这样玩应该没什么X用，因为ImageNet里的类别，根本不是位置的函数。就算开始有这样的偏见，训练中的数据扩增也会把它抹掉了。

令人惊喜的是，研究人员用了100个GPU来训练这个改进之后的神经网络。

结果是，到了小数点后第三位，他们终于获得了微弱的安慰奖。



菲菲说，如果有一万台GPU，大概也是可以用上的，无限风光，在险峰嘛。

真有那么壕的话，不想做点更有意义的训练么？

请开始你的表演

菲菲的嘲讽熔成一句话——

这样的作品，还有人叫好，真让人难过。

那么，你怎么看？

— 完 —

活动报名

实习生招聘

量子位正在招募活动运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态