归因分析笔记21 可解释的机器学习-李宏毅讲座
视频链接:
https://www.bilibili.com/video/BV1Wv411h7kN/?p=96&vd_source=7259e29498a413d91ab48c04f9329855
课件链接:
https://view.officeapps.live.com/op/view.aspx?src=https%3A%2F%2Fspeech.ee.ntu.edu.tw%2F~hylee%2Fml%2Fml2021-course-data%2Fxai_v4.pptx&wdOrigin=BROWSELINK
作业链接:
https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/hw/HW09/HW09.pdf
https://colab.research.google.com/github/ga642381/ML2021-Spring/blob/main/HW09/HW09.ipynb
目录
Interpretable与explainable的差异
Explainable的目标
解释的类别
Local
解释的方法
1.输入的哪些部分重要
2.网络如何处理输入
Global
1.以网络输出最大为优化目标训练输入
2. Generator
替代模型
Interpretable与explainable的差异
Interpretable本身就可解释的(线性模型, 单颗浅层决策树)
explainable本身不可解释的模型赋予其解释(深层决策树/随机森林)
Explainable的目标
什么是好的解释结果
人能接受的理由(让人高兴)
解释的类别
Local:对单个样本做出判断的理由(哪些组成部分components像猫)
Global:对任意的输入, 什么样的输入能获得肯定的判断(什么样的图片可以看作猫)
Local
解释的方法
1.输入的哪些部分重要
2.网络如何处理输入
1.输入的哪些部分重要
1.看梯度
(1)逐部分mask特征/或者对单个特征进行微小变化
(2)然后观察输出/计算梯度:
变化大/梯度大的为重要特征, 由此可画出Saliency Map(主要在CV中使用)
2. Integrated gradient (IG)--扩展了解的方法
SmoothGrad
避免杂讯影响: 在图片上加入不同杂讯, 所有的Saliency Map叠加后, 就是SmoothGrad的结果
草对分辨图片可能重要, 但老板会喜欢机器根据猫的本体判断, 让老板高兴的解释才是好的解释
梯度≠特征重要度
当大象鼻子长到一定程度的时候, 再变长对判断就没有帮助了, 此时长度发生变化的梯度为0.
2.网络如何处理输入
降维+可视化
对网络某一层(或Attention)的输出进行降维+可视化, 输出图片给人眼看是否有联系
Attention is not Explanation
Probing
1.Probing(探针)=分类器
基于这一层的输出, 训练判断词性(或其它特性)的分类器, 来确定这一层是否学到了词性方面的信息.
但是要小心可能单纯是分类器没有训练好/或训练太好, 导致无法分别.
2. Probing(探针)=生成器
利用某一层的输出, 复现网络的输入
看出网络抹去了哪些特征, 学到了哪些特征
Global
不是对单个样本为什么选择
而是根据整个模型参数, 找出模型想象中的猫
1.以网络输出最大为优化目标训练输入
创造一张图片, 其中包含filter (网络)想要侦测的像素
把像素值当作训练的参数, 使得某层输出的feature map值(整个网络输出)大.
找出的值用X*表示, 观察X*的特征
其中aij是feature map中的元素
其中yi是整个网络的输出.
寻找的方法不是梯度下降而是梯度上升(gradient ascent).
如果寻找的时候不加限制, 输出的图片是杂讯:
加限制--图片要像数字. 此处的限制R()是有笔画的地方越少越好
此时得到的图片:
要得到很像人类的图片其实很难, 要根据对影像的了解下非常多的限制, 对超参数微调.
2. Generator
将生成器与分类器接在一起
此时不是找分类器的输入X, 而是生成器的输入Z
找到能使y最大的z, 记为z*, 再把z*输入生成器.
替代模型
用简单的模型模仿复杂模型的行为
再分析简单的可解释的模型
Local Interpretable Model-Agnostic Explanations (LIME)
线性模型无法模仿网络的所有行为, 只模仿一小区域的行为.
归因分析笔记21 可解释的机器学习-李宏毅讲座相关推荐
- 归因分析笔记5:机器学习可解释性
目录 可解释的机器学习 从宏观业务流程看可解释机器学习 使机器学习可解释两种方法 可解释性的范围 模型不可知的全局方法 排列特征重要性(模型依赖) 模型不可知的局部方法 Shapley 值 Shapl ...
- 归因分析笔记6:SHAP包使用及源码阅读
突然发现这篇文章居然被百度文库给盗了, 举报侵权还要我自己打印保证函, 最逗的是, 上传保证函图片还要求开启flash, 其心昭然若揭. 目录 安装 使用示例 shap.kmeans shap_val ...
- 归因分析笔记13 特征重要度正确性的验证
目录 SHAP原论文 引言 第五节 计算和用户研究实验 5.2 符合人类直觉 5.3 解释分类差异 引用文献 验证方法总结 数据集选取 Madelon Adult Cross-Domain Indoo ...
- 归因分析笔记4:PCA逆变换
目录 PCA转回原特征 例1 例2 scikit-learn中的PCA PCA的对象 PCA对象的方法 PCA.components_ 总结 PCA过程 PCA转回原特征的公式 手刻逆转换 Sklea ...
- 2021李宏毅机器学习笔记--21 Anomaly Detection
2021李宏毅机器学习笔记--21 Anomaly Detection(异常侦测) 摘要 一.问题描述 二.Anomaly异常 三.Anomaly Detection(异常侦测)做法 3.1 Bina ...
- 【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
[机器学习笔记]可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning) 目录 [机器学习笔记]可解释机器学习-学习笔记 Interpre ...
- 《统计学：从数据到结论》学习笔记(part1)--统计学是收集、分析、展示和解释数据的科学
学习笔记 学习书籍:<统计学:从数据到结论>-吴喜之: 参考书目:<统计学>-贾俊平 一些统计学的基本概念 啥是统计学? 按照不列颠百科全书关于统计学的定义,统计学是" ...
- cs224w（图机器学习）2021冬季课程学习笔记21 Scaling Up GNNs to Large Graphs
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. 介绍scale up GNN问题 2. GraphSAGE Neighbor Samplin ...
- Algorithm：网络广告营销领域之归因分析/归因模型的简介、算法、案例应用之详细攻略
Algorithm:网络广告营销领域之归因分析/归因模型的简介.算法.案例应用之详细攻略 目录 归因分析/归因模型的简介 1.常见几种归因分析模型 2.单触点归因分析VS多触点归因分析 3.归因模型的 ...
最新文章
- 当当CEO俞渝开撕老公李国庆：同性恋，梅毒，夫妻反目！
- Orchard模块开发全接触3：分类的实现及内容呈现（Display）
- Linux_IPtables防火墙详解
- nginx已添加systemctl，但不能开机自启动问题
- linux下字符串查找 与替换
- 二十一、Python中的Scipy统计库
- python效率提升_Python GUI开发，效率提升10倍的方法！
- Python——常用模块
- ui和ux的区别_UI和UX之间的区别
- springcloud~Eureka实例搭建
- 现代软件工程讲义 个人项目和结对项目练习 地铁
- c# 命名空间命名规范_C＃命名空间能力问题和解答 套装2
- redis持久化之rdb篇
- UT源码+105032014036
- spring :cannot be resolved to absolute file path because it does not reside in the file system: jar
- IntelliJ IDEA使用技巧（一）——常用快捷键
- halo博客：如何加快搜索引擎收录网站速度
- 网页QQ客服聊天功能
- python计算复数模_python 模拟casio复数计算器【施工中】
- 宏基(Acer)笔记本(5583)拆机清洗风扇