概念学习的定义

概念(Concept):

  每个概念可被看作一个大集合下的子集。例如：在人类集合中，中国人这个子集可被视为一个概念。概念还可被看作是一个布尔函数，例如，IsChinese()这个布尔函数它对所有中国人返回True，其他人返回False

概念学习(Concept Learning):

  “Inferring a boolean-valued function from training examples ofits input and output. ” —— Tom M.Mitchell简单翻译一下：概念学习就是从有关某个布尔函数的输入输出的训练集中，推测出这个布尔函数。例如：我们有训练集Training Examples:<非洲人，False>，<美国人，False>，<亚洲人，True>，<欧洲人，False>，<南极人，False>对此训练集进行概念学习后，学习器会给我们几个假设h的集合H，其中，h(x) = IsAsian(x)是我们的一个假设，它表示：对所有亚洲人返回True，其余返回False

实例空间

听起来高大上哈，其实没什么

实例空间有多简单呢？举个例子，如果我们想要预测一个人是否肥胖，假如有3个评判指标：
身高，体重，三围这三个评判指标的取值如下：
身高：矮，偏矮，中等，偏高，高
体重：轻，偏轻，中等，偏重，重
三围：差，好（对不起，实在不知道该怎么编了）那么这个实例空间的大小就为：
5*5*2=50
即，取遍“身高，体重，三围”的所有组合情况：
<矮，轻，差>
<矮，中等，差>
……

目标概念

目标概念实际上就是一个布尔函数。例如我们之前提到的IsChinese()。
不过，为了方便抽象描述，我们常常将目标概念布尔函数记为c。

正例

c(x)=True，就是正例

反例

c(x)=false，就是反例

训练样例的表示

知道了目标概念的概念，又知道了实例空间，那我们来看看如何表示训练样例

训练样例的表示可由一个序偶对<x,c(x)>完成。其中x是一个训练样本，
c(x)表明x是否属于概念c。例如：
x = 中国人 and 日本人 and 美国人
c(x) = false
则这个训练样例可表示为
<中国人 and 日本人 and 美国人，c(中国人 and 日本人 and 美国人)>

假设空间

我们知道，概念学习的目的就是去学这个c，看看它到底是什么。那么我们就需要一堆假设。这些假设的集合也就构成了假设空间

我们来看看Tom老先生是如何定义假设空间的："We use the symbol H to denote the set of all possible hypotheses
that the learner may consider regarding the identity of the target
concept." —— Tom M.Mitchell简单翻译一下：
“我们用符号 H 来表示学习器所有可能的假设的集合，这个集合是考虑目标概念的
范围”哦，我们知道了H是所有可能假设的集合，那么每个“假设”又如何定义呢？事实上，我们不妨记这些“假设”为h，那么h应该也是一个定义在实例空间上的布尔
函数，它与c的定义无二。我们最终的目的便是找到这么几个h，它们能够使得
c(x) = h(x)对每一个x属于训练样例均成立。

偏置（Bias）

归纳偏置是什么？好高级

偏置高级吗？
其实并不高级。
我们把偏置分成两个部分来看：
“偏”和“置”。
偏指偏向一部分，置表明闲置一部分。进一步的，偏置在机器学习中就是说我们仅取“全”假设空间的“一部分”作为假设空间。
例如，某个全假设空间为
H={a,b,c,d,e,f}
然而，我们在进行学习的时候，仅用H'作为假设空间，其中H'为
H'={a,d,f}这就是“偏置(bias)”

后记

事实上，概念学习部分只要弄清楚了这几个空间，弄清楚了这些符号背后的含义，后面的内容看起来就不费力了，例如什么

find-s算法，
List-then算法，
candidate-elimination算法

另外，博主Deadpool推荐大家千万不要为了概念而记概念。概念是人抽象出来的。这意味着什么呢？
这意味着先有现象，才有概念。对于这个“概念学习”来说，我们为什么要有定义，这仅仅是为了描述方便且严谨。但是对于学生来说，特别是中国学生来说——因为我们常常先将概念，再讲现象，这会导致我们学习时走不少弯路——不过学习不就是这样吗，误打误撞，最后摸清楚规律，哈哈，今天就先这样了。

机器学习（埋坑）—— 概念学习（Concept Learning）相关推荐

Human-level concept learning through probabilistic program induction
论文:<Human-level concept learning through probabilistic program induction> 背景: 近年来,深度学习表现出接近人类水 ...
ML之Medicine：利用机器学习研发药物—《Machine Learning for Pharmaceutical Discovery and Synthesis Consortium》
ML之Medicine:利用机器学习研发药物-<Machine Learning for Pharmaceutical Discovery and Synthesis Consortium> ...
机器学习入坑姿势之大纲
<机器学习入坑姿势>之大纲一.咱先说好我是一个"半路出家"的机器学习爱好者,爱好到什么程度呢?在一家排名中等偏上的券商的 IT部门工作了五年后,我居然裸辞了:当HR ...
【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
[机器学习笔记]可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning) 目录 [机器学习笔记]可解释机器学习-学习笔记 Interpre ...
Human-level concept learning through probabilistic program induction学习与验证
最近一段时间学习了一篇SCI的文章-- Human-level concept learning through probabilistic program induction 这篇文章在学术界反响很 ...
谷歌机器学习规则 (Rules of Machine Learning)
机器学习规则 (Rules of Machine Learning) 往期文章: 机器学习之特征工程机器学习之分类(Classification) 精确率.准确率.召回率 ------------- ...
吴恩达深度学习笔记——结构化机器学习项目（Structuring Machine Learning Projects）
深度学习笔记导航前言传送门结构化机器学习项目(Machine Learning Strategy) 机器学习策略概述正交化(orthogonalization) 评价指标数字评估指标的单一性 ...
机器学习笔记之学习率（learning rate）与过拟合（overfitting）
这次的笔记,之所以把学习率和过拟合放在一起讲,是因为,Msc阶段的几个挂掉的入职面试(投的实习,有的直接变成了校招的比如hw和zx,还有ali),问了相关的问题,结果回答地不好,所以在这里把这两个东西 ...
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML)书，章节1.2，Probability Theory （上）
Pattern Recognition and Machine Learning (PRML)书,章节1.2,Probability Theory (上) 这一节是浓缩了整本书关于概率论的精华,突出一 ...
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning 书，章节1.1，多项式曲线拟合(Polynomial Curve Fitting)
转载自:http://blog.csdn.net/xbinworld/article/details/8834155 Pattern Recognition and Machine Learning ...

机器学习（埋坑）—— 概念学习（Concept Learning）