背景

最近离职在找工作，开始以为介绍下做的工作，然后大家过来评估下，然后可以开心的继续炼丹以及顺便做做工程。然鹅，我发现好多人更关注“遇到了哪些难题，咋解决的”这种情况，被问的我一脸懵逼。我自始至终没有太关注这些点，不管怎么说，还是总结一下好了。

L2 loss的修改

年龄回归，当时试验了许多loss后，发现l2比较好使。但是年龄的测试和训练是不一致的：测试的时候追求的是cs2（年龄差小于2认为是positive时的比例），也就是l2对年龄差为1时，会开始降低惩罚力度；测试的时候扩展到2了。其实对于数据集的数据标注的话，是实际年龄统计得到的标注；自己手头的数据呢，又是根据目视年龄进行的标注。这种数据分布上也是有差的。所以这儿是有修改soomth l1变成了smooth区间定长的smooth l1.目的是统一训练测试的平均，同时也降低一定的惩罚力度。
在测试集提升最大接近1%。其实当时看到了数值上有明显的差异了，至于具体多少是没有去迭代几次求平均的。

长尾分布的softmax

在设计阶段，所以没有什么好讲的，因为不知道最后能不能work。
想法就是针对优势类别训练，然后逐渐添加非优势类，非优势类逐渐扩展最近的优势类类别：分错了只对最近的多个优势类之间做一些惩罚，而不是全部。
概况起来的思想就是：反正这些类别的种类和样本数目都是有限的，也就是对提升其他类的泛化能力可能有限，既然如此，就独善其身。跟最近的几个撇清关系就好了。
数值上相当于不会惩罚以改变整体的分布情况。有种嵌入几个类别的感觉

数据集的制作

制作一个比coco更大的数据集用作pretrain，也是稍微有点意思的事情。组长的idea，我是执行者和设计者，使用OID和Object365合起来，标注人脸，同时兼顾一些人脸属性的分布。中间也是有一些小问题：多个属性的预测、选择、均衡。评价指标的筛选到最后的制定。

两个失败的尝试

暗光的图片处理

背景是很昏暗的时候，人脸检测和识别网络基本上就不work了。当时最直接的想法是直方图拉伸，基本上没效果，甚至mAP还下降了。
一个想法就是有灰度上的阶跃，边界有形成不合理的梯度。当时就做了一个冲击函数，找到拉伸后图片边缘，和梯度值一起，做了空间和强度上的边缘的缓慢过渡。
结果证明也不怎么好，估计到最后还是分布的原因。想继续做平均脸的kl散度来做一个固定形式的拉伸，也就是直方图匹配。不过检测那边也不怎么样，而且眼睛、眼镜有时候会有强反光。这个实验就停了。
输入端做处理的实验基本上是失败的。

关键点的抖动的后处理

背景是人脸关键点检测时会在人脸质量差、人脸大角度的时候出现崩溃的结果。当时的想法是使用关键点的时间序列，看有没有特征直接可以预测哪些结果是错的。然后做了比如三个角度值的变化曲线，然后平滑得到结果。
有几个问题是始终解决不了的：1是正常情况下也抖，抖的幅度容易受到不可见的因素干扰。2. 环境很差的时候，或者大侧脸的时候，反而出现关键点相对来说空间位置很稳定。也就是模型彻底预测失败了，然后给出他认为的位置点，而且可能这个位置点对应特征在特征分布上占据了相当一部分。3. 抖动的那几帧图片使用平滑后的结果来评价，跟他们想近的附近几帧也会被连带着排除掉，是不能保证不抖动帧的recall的。
最后还是放弃了这种模式识别的方法。

更早期的实验

大卷积核的应用

想用大卷积核是因为：1. 感受野不完全遵从两个33等价一个55.每个位置被计算的次数是不一致的，对中心的更偏爱一点。2. 大卷积核使用NIN的形式也能有多个小卷积核的非线性特性，或者其后直接使用11加relu的形式。3. 计算量，这是我的创新的地方吧。
用细粒度的剪枝，把卷积核剪到固定的参数量，然后拿着这些空间位置的参数重写一个im2col。
总起来说，这是一个比较鸡肋的创新吧：有论文提出的global cov是用一个非常大的k做1k和k*1的堆叠卷积；以及有论文直接提到的一种对角kernel的卷积方式，形式上等同于单位矩阵，实现上是mobilenet那种depth-wise卷积。实用性和创新性都不如后二者。

有损的大batchsize

其实从想出来到目前为止，这个想法受到了有两个根本性的质疑：1. 梯度更新；2. 有无必要
背景就是想用更大的batchsize。
然后做法就是固定住top部分layers的梯度不更新，等迭代几次之后再拿累积的梯度的平均再更新这部分
质疑1：这样的梯度，面对的网络并不是当初被计算得到的状态。所以这该如何解释。
质疑2：是否可以通过更小的网络，更小的输入来获得。
这两点质疑都很难从正面回答，不过有个相类似的idea是做分布式计算的时候的梯度更新，怎么做处理减少带宽占用的论文。里面提到的处理方法是截留梯度，等累计梯度达到某个限度后在吧sum传过去，梯度本质上是一个加的过程，然后传过去的也是这样的一个状态。这篇论文在nlp上验证通过，没有在图片上测试。
鉴于当时的结果只是可收敛，所以也没有必要提了。

算法上的创新点大搜罗相关推荐

中国工程院谭建荣：人工智能应用得再好，最核心的算法不行，创新能力就不行丨MEET2021...
编辑部整理自 MEET 2021 量子位报道 | 公众号 QbitAI 随着数字经济时代的到来,以人工智能.大数据等为代表的数字化技术正在席卷各行各业. 当下人工智能发展得如火如荼,相应的智能产品 ...
中国工程院谭建荣：人工智能应用得再好，最核心的算法不行，创新能力就不行
随着数字经济时代的到来,以人工智能.大数据等为代表的数字化技术正在席卷各行各业. 当下人工智能发展得如火如荼,相应的智能产品应用也层出不穷. 然而,从智能产品到数字化转型,什么才是数字经济时代下企业的 ...
中国工程院谭建荣：人工智能应用得再好，最核心的算法不行，创新能力就不行丨MEET2021
编辑部整理自 MEET 2021 量子位报道 | 公众号 QbitAI 随着数字经济时代的到来,以人工智能.大数据等为代表的数字化技术正在席卷各行各业. 当下人工智能发展得如火如荼,相应的智能产品 ...
三坐标检测难点:创新的“大半径,小圆弧“测量解决方法 2021
半径,小圆弧"的测量一直是三坐标测量行业的难题(小圆弧一般认为是圆心角小于30度的圆弧). 问题的主要原因是, 在测量过程中不可避免地产生测量误差. 而"大半径,小圆弧" ...
张平安：加快云上数字创新，共建产业智慧生态
摘要:华为高级副总裁.华为云CEO 张平安受邀出席第八届全球深商大会,以"加快云上数字创新,共建产业智慧生态"为主题发表演讲. 本文分享自华为云社区<张平安:加快云上数字创新 ...
科大讯飞的2022：夯实“根据地”业务，以技术创新点燃大模型产业落地的“星星之火”...
‍数据智能产业创新服务媒体 --聚焦数智 · 改变商业 4月20日晚,科大讯飞正式公布2022年度及2023年度第一季度业绩报告.财报数据显示,公司2022年度实现营业收入188.20亿元,同比增长2 ...
Nature Methods：Rob Knight发布Striped UniFrac算法轻松分析微生物组大数据
Striped UniFrac微生物组大尺度分析算法 Striped UniFrac: enabling microbiome analysis at unprecedented scale Natu ...
OpenAI 研究员最新博客：如何在多GPU上训练真正的大模型？
[专栏:前沿进展]近年来,在大规模预训练语言模型的帮助下,许多NLP模型在基准测试任务中取得了更好的结果.如何训练大而深的神经网络是一个挑战,需要大量的GPU内存和很长的训练时间.本文回顾了几种流行的 ...
比特币耶稣Roger Ver：BCH是世界上最创新、最实用的加密货币之一
近日,天使投资人.比特币耶稣Roger Ver再度表示:"比特币现金(BCH)正在证明自己是世界上最创新.最有用的加密货币之一." BCH的创新,源于其不断对新技术的探求,不断扩容 ...
【每日算法】C语言8大经典排序算法（2）
接上文--->[每日算法]C语言8大经典排序算法(1) 二.插入类排序插入排序(Insertion Sort)的基本思想是:每次将一个待排序的记录,按其关键字大小插入到前面已经排好序的子文件中 ...

算法上的创新点大搜罗

背景