周志华眼中的贝叶斯方法（转）
对Bayesian一类的东西，除了 NB、AODE等少数几个接近 discriminative 的，我都不是很感冒。并不是看不上那些技法，有时其实还是相当欣赏那些精巧的设计。不感冒的原因，主要是觉得里面的唯心味道太重了。生长在新中国红旗下， 自认为是唯物论者，对唯心的东西有一种心理上的天然抵触。
唯心不能怪老贝，他做Bayes公式本来就是为了证明上帝的存在，没有唯心味道反倒怪了。Prior 的选取，如果是针对具体应用，倒也没什么，根据 domain knowledge 设计 prior 本来是 incorporate domain knowledge 的有效途径，是好事不是坏事。问题是，好多 Bayesian fans 都标榜自己做得多基础，根本就不 care 具体应用领域，或许其实本身就对应用没感觉（应用要做得好，一定要对应用有“感觉”）。普适的 prior 本不存在，不考虑具体 domain 就只能形而上地去折腾，然后挑几个数据发发文章，实际可能一点用没有。或许一些人本来的目的就是为了发文章而不是解决问题。
如果最终目标是预测，我总觉得，就算数据真是由某个 generative model 生成的，能够导致分类性能好的 model 也未必一定是那个 ground-truth model。就好象 manifold 一样，把 ground-truth manifold 扭曲一点说不定分类更好做，05年的那个TSMCB文章就想说这件事。
其实 Bayesian fans 自己也知道要改良。固定参数不好，就整个 Chinese Restaurant Process 搞非参。假设 Gaussian 太随意，就来个 dirichlet 考虑分布的分布。“分布的分布”还觉得味道不好，就再整个 hierarchical dirichlet 玩“分布的分布的分布”。要我说，你怎么知道该加几层啊？说不定要“分布的分布的分布的分布”？遇到 MJ 问他，说还没想到怎么办。我觉得大可以在分布方向上再开个 Restaurant，计算问题似乎也不大，应该可以 marginalize。一般数据上大概显不出好处来，找几个很复杂的数据 show 一把发个 NIPS 估计是可以的，因为这玩意儿很合 NIPS 的口味。不过我自己实在没兴趣做。有谁想玩玩可以跟我说一声。
把 discrimitive 的东西放进去，唯心成分应该会小一些。没和 EX 聊过这个问题，看他这两年走的路子，有可能是所见略同。
周志华眼中的贝叶斯方法（转）相关推荐
- 南大周志华vs清华孙茂松深刻思辩：AI本科教育该不该单独设系？
问耕 夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 如何培养人工智能人才?中国大学该不该设立人工智能本科专业? 在昨天的<AI人才教育高峰论坛>上,清华大学计算机科学与技术系 ...
- 机器学习西瓜书（周志华）第七章 贝叶斯分类器
第七章 贝叶斯分类器 1. 贝叶斯决策论 1.1 先验分布 1.2 后验分布 1.3 似然估计 1.4 四大概率在贝叶斯分类中指代含义 1. 朴素贝叶斯 7. 课后练习参考答案 1. 贝叶斯决策论 贝 ...
- 【周志华机器学习】七、贝叶斯分类器
文章目录 参考资料 1. 基本概念 1.1 贝叶斯公式 1.2 贝叶斯决策论 1.2.1 判别式模型 and 生成式模型 1.3 极大似然法 2. 朴素贝叶斯分类器 3. 半朴素贝叶斯分类器 4. E ...
- 周志华：“数据、算法、算力”，人工智能三要素在未来还要加上“知识”
点击蓝字 关注我们 作者丨李雨晨 来源丨AI科评论 2020 年 8 月 7 日,全球人工智能和机器人峰会(CCF-GAIR 2020)正式开幕.CCF-GAIR 2020 峰会由中国计算机学会(C ...
- 周志华：“数据、算法、算力”人工智能三要素，在未来还要加上“知识”
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 来源:AI科技评论 作者:李雨晨 2020 年 8 月 7 日,全球人工智能和机器人峰会(CC ...
- 周志华：“数据、算法、算力”人工智能三要素，在未来要加上“知识”| CCF-GAIR 2020...
来源:雷锋网 作者 | 李雨晨 如何将"机器学习"与"逻辑推理"相结合,是人工智能领域的"圣杯问题" " 编者按:2020 年 8 ...
- 详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
AI是一门入门简单,但想深入却很难的学科,这也是为什么AI高端人才一直非常紧缺的重要原因.在AI领域技术领域,我们可以说机器学习功底决定了一个人的上限也不为过.为什么?机器学习就像物理学中的数学,如果 ...
- 《机器学习》周志华 学习笔记
<机器学习>周志华 学习笔记 第一章 绪论 1.1 引言 机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
- 【周志华机器学习】六、支持向量机
文章目录 参考资料 前言:一个关于SVM的童话故事 1. 基本概念 1.1 函数间隔与几何间隔 1.1.1 函数间隔 1.1.2 几何间隔 1.2 最大间隔与支持向量 1.3 从原始优化问题到对偶问题 ...
最新文章
- java jdbc 表存在_使用JDBC查询是否存在某表或视图，按月动态生成表
- python 图表_python导出excel charts图表
- 牛客华为机试第1题python
- 【python图像处理】彩色映射
- 产品中的实名认证该怎么设计？
- haoop格式化做的工作
- javac 编译异常总结
- 域名平台SSL证书及Nginx 配置SSL证书简易教程
- 网络协议从入门到底层原理（5）传输层（UDP、TCP - 可靠传输、流量控制、拥塞控制、建立连接、释放连接）
- es6之模块化（module）--绝对能看懂
- 关于“VS2013无法启动程序，系统找不到指定的文件“这个问题的一个解决方法
- java udp发送速率_项目总结22：Java UDP Socket数据的发送和接收
- python调用微信客户端_Python微信企业号开发之回调模式接收微信端客户端发送消息及被动返回消息示例...
- java 解析unicode,解析Unicode编码和Java char
- IP协议的详细知识总结
- Android页面的跳转
- python风控模型举例_一文搞定风控模型6大核心指标（附代码）
- 统俗讲义之——何为统计显著性(Statistical Significance)
- 【古希腊罗马神话】期末结课论文
- nsfw什么颜色_“ NSFW”是什么意思，以及如何使用它？