听霍强老师讲模式分类器设计的最小分类误差训练（MCE）

我们非常荣幸请到微软亚洲研究院的霍强老师来为我们MSRA-USTC联合培养班带来第三场前沿讲座。首先简单介绍下霍老师，霍强老师是科大826的大牛级人物，87年本科毕业获得郭沫若奖学金，此后两年在浙大读硕士，随后又回到母校参加科大—港大联合培养项目，攻读博士学位。霍老师在港大读博期间，在MCE（最小分类误差训练）方向做出了重要成果，博士论文被MIT一教授赞誉为这是他看过的最好的关于MCE方向的博士论文。博士毕业后，霍老师被邀请到日本京都ATR音声翻译通信研究所工作（ATR被誉为日本的Bell实验室），他95—97年在ATR工作三年后，于98年被邀请回港大任教，07年加入MSRA,被聘为Lead Researcher.

霍老师研究领域广泛，在语音识别，手写识别，光学字符识别（OCR），基于生物信息的身份识别，基于数字信号和图像处理的硬件设计等方向的研究上都做出了重大贡献。

然后简单介绍一下什么是MCE，MCE的全称为 Minimum Classification Error 即最小分类误差，那么这个东西到底有什么用呢？我们知道机器的识别是一个应用非常广泛的领域，现在比较热门的有人脸识别，指纹识别，手势识别，语音识别等，这些技术也用到了现实社会中，例如很多电脑都有人脸识别的功能，然而我们会担心它的识别能力，担心某天电脑万一识别不出主人打不开，或者把一个长得有些像的陌生人错误的识别成了主人而导致信息泄露都是很可怕的事情。所以我们都很期望机器的识别误差越小越好，这就导致了一门学问的诞生:MCE（最小分类误差）。

这次霍老师演讲的主题是他读博士时所从事的MCE方向的研究，下面我分三个部分来和大家分享霍老师的讲座。

一，MCE背景：

这个研究方向始于60年代末期日本人Amari 和俄国人Tsypkin 的天才工作，两人分别发表论文阐述了MCE的基本思想，到了90年代，B.-H. Juang 和S. Katagiri 做了很多研究使这门学科得到了极大的发展。

下面介绍一下，B.-H. Juang 和S. Katagiri提出的MCE公式：

I，定义一个判别函数：

II，另外定义错误分类量

其中：

如果大于0表示分类错误，如果小于0则表示分类正确。

III，定义损失函数：

如果 a 取值足够大，那么当d 小于0时，l 会趋于0，而当d 大于0时，l 会趋于1。所以可以用来计错误分类的个数。

而一般情况下，MCE 的训练有以下两个标准：

①经验平均损失：

②损失期望：

根据以上这么3步，其实我们可以推出很多种MCE训练算法。

二，基于多原型类的模式分类器：

例如一个有M类的模式分类器，设对于类 Ci ，有含有Ki参数的样本向量来决定，即

则可用矩阵

来表示所有类原型的样本向量参数。

对于一个未知的样本向量X ，如果满足

则样本向量X被识别为Ci 类，其中

在讲解了多原型类的分类基本知识之后，霍老师分别较为详细的介绍了传统的MCE训练 (MCE1)，改进的MCE训练(MCE2)，新的MCE训练(MCE3)。

另外老师还特别介绍了基于SSM的MCE训练，介绍了QDF的判别函数，以及在中文手写识别中的应用。现在很多手机都支持手写输入，然而我们在使用中常常有这么一个烦恼，当你写的稍微快些，字体有些潦草的时候，手机往往识别出错，所以虽然手写输入都已出道这么久，大家依然坚定的用着拼音输入。那么对于手写识别，我们就这么放弃么，当然不能，只要手写识别能讲草书的时候错误识别率降下来，相信会有更广阔的应用前景。这其中，最有效最实惠的改进方法莫过于在算法上改进MCE的训练了，下面是一组对比实验结果：

(关于SSM-MCE的训练方法的发现，老师讲了一段有趣的经历，霍老师的一个学生一直在做MCE的算法改进，并做了大量实验，然而错误识别率并没有降下来，一次偶然间，该学生发现测试数据特别好并找到霍老师探讨，而霍老师对于结果也很惊奇，于是又把Amari的那篇经典论文拿出来细细的读，恍然间发现，之前他们做的算法中漏掉了一个key word，说到这，老师古灵精怪的故意哀叹道“年轻的时候看这篇paper没有认识到这点，误了我十几年啊”，看着老师有些夸张的动作和表情，大家不禁捧腹大笑。)

在实验测试中，潦草字体占70%,正常书写字体占30%

由图表可以看出SSM-MCE使错误率明显下降，一个算法上的小小改进使手写识别中的错误率下降这么多，是非常大的成就。

三,霍老师介绍研究经历：

除了讲解读博士时所从事的研究MCE外，霍强老师还和我们分享了他的求学之路的经历，霍老师生动幽默的语言和令人叹为观止的实验经历引来阵阵掌声。霍老师从大一开始每个暑假和寒假都在各个实验室度过，虽然没有任何补贴，老师依然乐此不疲，当霍老师和我们分享他在本科假期时间所做的各个项目（其中不乏很多给军方设计的硬件电路）时，大家不禁为之深深震撼，真是聪明与勤奋造就天才。另外还有一点要提：虽然霍老师本科在实验室投入大量尽力，但GPA在竞争激烈的6系一直保持着全年级第一，实在是太牛了。

最后霍老师结合他的求学和工作经验，鼓励大家要找到自己的passion,并为之奋斗，须知幸运总是会垂青给那些有准备的人的。

（附图：霍老师的讲座异常火爆）

听霍强老师讲模式分类器设计的最小分类误差训练（MCE）相关推荐

听风中叶老师讲《flex4与服务器》感
白天在所谓的学校做项目,忙碌了一天,可谓是乱七八糟.回来后来csdn上看见了风中叶老师的课,好奇的在线听了.感觉很是不错,因为讲的是基础知识,听起来没费多大的力气.不过要说最大的感慨就是:学精通了一门 ...
听经蓓老师讲课的感受
[前言]有幸看了央视主持人经蓓关于人生是一场现场直播的演讲,下午又和经蓓老师有了进一步的交流,发现自己的眼界思维还有非常大的提升空间. 目标和梦想我们要有自己的目标和梦想,我们未来要成为什么样的人, ...
《MATLAB 神经网络43个案例分析》：第5章基于BP_Adaboost的强分类器设计——公司财务预警建模
<MATLAB 神经网络43个案例分析>:第5章基于BP_Adaboost的强分类器设计--公司财务预警建模 1. 前言 2. MATLAB 仿真示例一 3. MATLAB 仿真示例二 ...
霍强：创新研究到底应该怎么做？
[免费下载]2021年9月份十大热门报告盘点麦肯锡七步成诗解决问题方法.pdf 思维整体框架和逻辑.pdf 陆奇:数字化浪潮与创新机会.pdf 编者按:"创新"-- 贯穿科研工作 ...
学习谭浩强老师的《C程序设计》，必配《C程序设计伴侣》！
<C程序设计伴侣>作者陈良乔:"更有趣.更容易.更深刻.更实战的<C程序设计伴侣>--<C程序设计>的有力补充和最佳伴侣.在中国,几乎每一个人,第一次接触 ...
【赵强老师】大数据平台的整体架构
先看视频. [赵强老师]大数据平台的整体架构大数据平台中的主要组件,如下: HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS的山寨版. ...
一建经济科目哪个老师讲的好？
其实哪个老师讲的好,主要是看自己适合哪一种授课风格,别人觉得好的,不一定适合你,所以推荐的考试仅供参考. 张湧老师,徐蓉老师,梅世强老师,这几位老师都还不错,大家可以去听听.看看自己更是个哪一个. 给 ...
书法报卢御晨老师讲米芾九札
书法报,卢御晨老师讲尺牍九札前言: 1,了解书家创作时期,不同时期风格不同,不要泛泛而临,抓不住重点. 2,学风格强的作品好学容易被笼罩,学风格弱的不好学但可塑性强,米芾也有很多刻帖,宝晋斋法帖等. ...
视频教程-赵强老师：Oracle数据库从10g到11g（6）管理方案对象-Oracle
赵强老师:Oracle数据库从10g到11g(6)管理方案对象毕业于清华大学,拥有超过13年的工作经验. Oracle认证讲师,拥有6年以上授课经验.精通Oracle数据库.中间(Weblogic) ...

听霍强老师讲模式分类器设计的最小分类误差训练（MCE）

听霍强老师讲模式分类器设计的最小分类误差训练（MCE）相关推荐

最新文章

热门文章