机器学习和深度学习的主要术语（中英）

文章目录

深度学习部分
tensorflow2中英文术语
Reference

前言

本文参考谷歌官网对机器学习术语的解释，进行总结并加以描述。

什么是机器学习？简单来说，机器学习系统通过学习如何组合输入信息来对未见过的数据做出有用的预测。

主要术语（基本）

主要包括标签、特征、样本、训练、模型、回归模型、分类模型、泛化、过拟合、预测、平稳性、训练集、验证集、测试集。

标签（label）

标签是我们要预测的事物，在分类任务中的类别，比如是猫或狗；简单线性回归中的y变量；。标签可以是小麦未来的价格、图片中显示的动物品种、音频剪辑的含义或任何实物。

在监督学习中，标签值是样本的“答案”或“结果”部分。

特征（feture）

在进行预测时使用的输入变量。

特征是输入变量，即简单线性回归中的x变量；在分类任务中的输入图像特征。

简单的机器学习项目可能会使用单个特征，而比较复杂的机器学习项目可能会使用数百万个特征，按如下方式制定： $x_{1},x_{2},.......x_{n},$

在垃圾邮箱检测器示例中，特征可能包括：

电子邮件文件中的字词
发件人的地址
发送电子邮件的时段
电子邮箱包含“一些敏感词”

样本（example）

数据集的一行。在监督学习的样本中，一个样本既有特征，也有标签。在无监督学习的样本中，一个样本只有特征。

样本是指数据的特定示例：x。（x表示一个矢量）将样本分为以下两类：

有标签样本
无标签样本

有标签样本同时包含特征的标签，即：

labeled examples: {features, label}: (x, y)

我们使用有标签样本训练模型；在垃圾邮件检测器示例中，有标签样本是用户明确标记为“垃圾邮件”或“非垃圾邮件”的各个电子邮件。

例如，下表显示了从包含加利福尼亚房价信息的数据集中抽取的5个有标签样本：

housingMedianAge （特征）	totalRooms （特征）	totalBedrooms （特征）	medianHouseValue （标签）
15	5612	1283	66900
19	7650	1901	80100
17	720	174	85700
14	1501	337	73400
20	1454	326	65500

无标签样本包含特征，但不包含标签，即：

unlabeled examples: {features, ?}: (x, ?)

以下是取自同一住房数据集的3个无标签样本，其中不包含medianHoustonValue：

housingMedianAge （特征）	totalRooms （特征）	totalBedrooms （特征）
42	1686	361
34	1226	180
33	1077	271

在使用有标签样本训练模型之后，我们会使用该模型预测无标签样本的标签。在垃圾邮件检测器示例中，无标签样本是用户尚未添加标签的新电子邮件。

模型（model）

模型定义了特征与标签之间的关系。比如，垃圾邮件检测模型可能会将某些特征与“垃圾邮件”紧密联系起来。模型生命周期的两个阶段：

训练是指创建或学习模型。即：向模型展示有标签样本，让模型逐渐学习特征与标签之间的关系。
推断是指将训练后的模型应用于无标签样本。即：使用经过训练的模型做出有用的预测 $\left ( y^{'} \right )$ .在推断期间，可以针对新的无标签样本预测medianHouseValue。

回归模型（regression model）

一种模型，能够输出连续值（通常为浮点值）。

回归模型可预测连续值。例如，回归模型做出的预测可回答如下问题：

xxx地方的一栋房产的价值是多少？
用户点击此广告的概率是多少？

分类模型（classification model）

用于区分两种或多种离散类别。

分类模型可预测离散值。例如，分类模型做出的预测可回答如下问题：

某个指定电子邮件是垃圾邮件还是非垃圾邮件？
这是一张狗或是猫的图像？

训练（training）

构成模型中理想参数的过程；训练一个好的模型，主要是得到模型中的参数，包括权重 $w$ 和偏置 $b$ 等。

泛化（generalization）

是指模型依据训练时采用的模型，针对未见过的新数据做出争取预测的能力。

过拟合（overfitting）

创建的模型与训练数据过于匹配，以至于模型无法根据新数据做出正确的预测。

预测（perdition）

模型在收到数据样本后的输出。

平稳性（stationarit）

数据集中数据的一种属性，表示数据分布在一个或多个维度保持不变。这种维度最常见的是时间，即：表明平稳性的数据不随时间而变化。

训练集（training set）

数据集的子集，用于训练模型。与验证集和测试集相对。

验证集（validation set）

数据集的一个子集，从训练集分离而来，用于调整超参数。与训练集和测试集相对。

测试集（test set）

数据集的子集，用于在模型经过验证集的初步验证后，进行测试模型。与训练集和验证集相对。

主要术语（进阶版1）

主要包括类别、分类模型、回归模型、收敛、准确率、精确率、召回率、凸集、凸函数、凸优化、激活函数、反向传播算法、批次、批次大小。

类别（class）

类别是标签枚举的一组目标值中的一个。比如：在二分类中，标签组一共有两个，分别为猫、狗；其中“猫”是一个类别；“狗”也是一个类别。

分类模型（classification model）

用于区分两种或多种离散类别。

比如，在猫狗识别中，模型要区分这个输入的图像是“猫”，还是“狗”，这是一个典型的二分类模型。

在语言分类中，模型需要区分输入的是中文、英语、法语、俄语，还是其他语言；这是一个多分类模型。

回归模型（regression model）

用于预测输出连续值，比如浮点值。

比如：在放假预测中，输入一些与房价有关的数据，销售日期、销售价格、卧室数、浴室数、房屋面积、停车面积、房屋评分、建筑面积等等；通过模型来预测房子的价格，比如输出56.78万元。

收敛（convergence）

是指在训练期间达到的一种状态，模型达到稳定状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变换都非常小或根本没有变化。

准确率（accuracy）

通常用于分类模型，表示分类模型的正确预测所占的比例。在多分类中，定义：

$acc = \frac{n}{sum}$

acc是指准确率；n是指正确分类的个数；sum是指总样本数。

比如：一共有100个数据样本，模型正确预测出98个，有2个预测错误了，那么该模型的准确率为：acc = 98 / 100 = 0.98 ，即：98%

精确率（precision）

一种分类模型的指标，是指模型正确预测正类别的频率，即：

$pre = \frac{TP}{TP + FP}$

pre是指精确率；TP（正例）是指实际为正，预测为正；FP（假正例）是指实际为负，预测为正。

精确率针对的是正类别，一共预测了若干个正类别（正例 + 假正例），其中有多少个是预测正确的。

准确率针对的是整体数据，包括正类别、负类别（正例 + 负类 +假正例 + 假负例），在整体数据中有多少是预测正确的。

召回率（recall）

一种分类模型指标，是指在所有可能的正类别标签中，

凸集（convex set）

欧几里得空间的一个子集，其中任意两点之间的连线仍完成落在该子集内。

比如，下面的两个图像都是凸集：

相反，下面的两个图形都不是凸集：

凸函数（convex function）

函数图像以上的区域为凸集，典型凸函数的形状类似于字母U，以下是几种凸函数：

相反，以下函数则不是凸函数，请注意图像上方的区域不是凸集：

严格凸函数只有一个局部最低点，改点也是全局最低点。

常见的函数都是凸函数：

L2损失函数
对数损失函数
L1正则化
L2正则化

梯度下降法的很多变体都一定能找到一个接近严格图函数最小值的点。

随机梯度下降法的很多变体都很高可能（并非一定能找到）接近严格凸函数最小值的点。

两个凸函数的和也是凸函数，比如L2损失函数+L1正则化。

深度模型绝不会是凸函数。但专门针对凸优化设计的算法往往总能在深度网络上找到非常好的解决方案，虽然这些解决方案并不一定对应全局最小值。

凸优化（convex optimization）

使用数学方法寻找凸函数最小值的过程。

机器学习方面的大量研究都是专注于如何通过公式将各种问题表示为凸优化问题，以及如何高效解决这些问题。

激活函数（activation function）

本质是一种函数，通常把输入值映射为另一个值，映射的方式有：线性映射、非线性映射；

比如：在线性映射中，假设激活函数为 $f(x) = 2x$ ，即 y = 2x，输入值x，映射后的输出值y；当输入值为3，经过激活函数映射后，输出值为6。

在非线性映射中，假设激活函数为 $f(x) = \frac{1}{1 + e^{-x}}$ ，输入值x，映射后的输出值y；输入值为0时，经过激活函数映射后，输出值为0.5。

其实这个非线性映射的激活函数是比较常见的Sigmoid函数，看看它的图像：

反向传播算法（backpropagation）

该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

批次（batch）

模型训练的一次迭代（一次梯度更新）中使用的样本集。

批次大小（batch size）

一个批次中的样本数。比如，在随机梯度下降SGD算法中，批次大小为1；在梯度下降算法中，批次大小为整个训练集；

批量梯度下降算中，批次大小可以自定义的，通常取值范围是10到1000之间。比如：训练集为40000个样本，设置批次大小为32，训练一次模型，使用到32个样本。

主要术语（补全中）

主要术语，包括偏差、推断、线性回归、权重、经验风险最小化、均方误差、平方损失函数、损失、梯度下降法、随机梯度下降、批量梯度下降法、参数、超参数、学习率、特征工程、离散特征、独热编码、表示法、特征组合、合成特征、

偏差（bias）

距离原点的截距或偏移。偏差（也称为偏差项）在机器学习模型中用b或 $w_{0}$ 表示。例如，在下面的公式中，偏差为b： $y^{'} = b + w_{1} x_{1} +w_{2} x_{2} +.......w_{n} x_{n}$

推断（inference）

在机器学习中，推断通常指以下过程：通过将训练过的模型应用于无标签样本来做出雨雪。在统计学中，推断是指在某些观察数据条件下拟合分布参数的过程。（请参阅维基百科中有关统计学推断的文章。）

线性回归（linear regression）

一种回归模型，通过将输入特征进行线性组合输出连续值。

权重（weight）

模型中特征的系数，或深度网络中的边。训练模型的目标是确定每个特征的理想权重。如果权重为0，则相应的特征对模型来说没有任何影响。

经验风险最小化（ERM，empirical risk minimization）

用于选择函数，选择基于训练集的损失降至最低的函数。与结构风险最小化相对。

均方误差（MSE，Mean Squared Error）

每个样本的平均平方损失。MSE的计算方法是平方损失除以样本数。

平方损失函数（squared loss）

在线性回归中使用的损失函数（也称为L2损失函数）。改行可计算模型为有标签样本预测的值，和标签的真实值之差的平方。由于取平方值，该损失函数会放大不佳预测的影响。与L1损失函数相对，平方损失函数对离群值的反应更强烈。

损失（Loss）

一种衡量指标，用于衡量模型的预测偏离其标签程度。要确定此值，模型需要定义损失函数。例如：线性回归模型参与均方误差MAS损失函数，分类模型采用交叉熵损失函数。

梯度下降法（gradient descent）

一种通过计算梯度，并且将损失将至最低的技术，它以训练数据位条件，来计算损失相对于模型参数的梯度。梯度下降法以迭代方式调整参数，逐渐找到权重和偏差的最佳组合，从而将损失降至最低。

随机梯度下降（SGD）

梯度下降法在大数据集，会出现费时、价值不高等情况。如果我们可以通过更少的计算量得出正确的平均梯度，效果更好。通过从数据集中随机选择样本，来估算出较大的平均值。

原理它每次迭代只使用一个样本（批量大小为1）。

如果进行足够的迭代，SGD也可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。

批量梯度下降法（BGD）

它是介于全批量迭代与随机选择一个迭代的折中方案。全批量迭代（梯度下降法）；随机选择一个迭代（随机梯度下降）。

原理它从数据集随机选取一部分样本，形成小批量样本，进行迭代。小批量通常包含10-1000个随机选择的样本。BGD可以减少SGD中的杂乱样本数量，但仍然波全批量更高效。

参数（parameter）

机器学习系统自行训练的模型变量。例如，权重。它们的值是机器学习系统通过连续的训练迭代逐渐学习到的；与超参数相对。

超参数（hyperparameter）

在模型训练的连续过程中，需要人工指定和调整的；例如学习率；与参数相对。

学习率（learning rate）

在训练模型时用于梯度下降的一个标量。在每次迭代期间，梯度下降法都会将学习速率与梯度相乘；得出的乘积称为梯度步长。

特征工程（feature engineering）

是指确定哪些特征可能在训练模型方面非常有用，然后将日志文件及其他来源的原始数据转换为所需的特征。特征工程有时称为特征提取。

离散特征（discrete feature）

一种特征，包含有限个可能值。例如，某个值只能是“动物”、或“蔬菜”的特征，这是都能将类别列举出来的。与连续特征相对。

独热编码（one-hot-encoding）

一种稀疏二元向量，其中：

一个元素设为1.
其他所有元素均设为0 。

独热编码常用语表示拥有有限个可能值的字符串或标识符。

表示法（representation）

将数据映射到实用特征的过程。

合成特征（synthetic feature）

一种特征，不在输入特征之列，而是从一个或多个输入特征衍生而来。合成特征包括以下类型：

对连续特征进行分桶，以分为多个区间分箱。
将一个特征值与其他特征值或本身相差（或相除）。
创建一个特征组合。

仅通过标准化或缩放创建的特征不属于合成特征。

特征组合（feature cross）

通过将单独的特征进行组合（求笛卡尔积），形成的合成特征。特征组合有助于表达非线性关系。

L1正则化（L1 regularization）

一种正则化，根据权重的绝对值的总和，来惩罚权重。在以来稀疏特征的模型中，L1正则化有助于使不相关或几乎不相关的特征的权重正好为0，从而将这些特征从模型中移除。与L2正则化相对。

L2正则化（L2 regularization）

一种正则化，根据权重的平方和，来惩罚权重。L2正则化有助于使离群值（具有较大正值或较小负责）权重接近于0，但又不正好为0。在线性模型中，L2正则化始终可以进行泛化。

本文参考谷歌官方：https://developers.google.cn/machine-learning/crash-course/framing/ml-terminology

https://blog.csdn.net/qq_41204464/article/details/117442581

深度学习部分

activation 激活值
activation function 激活函数
additive noise 加性噪声
autoencoder 自编码器
Autoencoders 自编码算法
average firing rate 平均激活率
average sum-of-squares error 均方差
backpropagation 后向传播
basis 基
basis feature vectors 特征基向量
batch gradient ascent 批量梯度上升法
Bayesian regularization method 贝叶斯规则化方法
Bernoulli random variable 伯努利随机变量
bias term 偏置项
binary classfication 二元分类
class labels 类型标记
concatenation 级联
conjugate gradient 共轭梯度
contiguous groups 联通区域
convex optimization software 凸优化软件
convolution 卷积
cost function 代价函数
covariance matrix 协方差矩阵
DC component 直流分量
decorrelation 去相关
degeneracy 退化
demensionality reduction 降维
derivative 导函数
diagonal 对角线
diffusion of gradients 梯度的弥散
eigenvalue 特征值
eigenvector 特征向量
error term 残差
feature matrix 特征矩阵
feature standardization 特征标准化
feedforward architectures 前馈结构算法
feedforward neural network 前馈神经网络
feedforward pass 前馈传导
fine-tuned 微调
first-order feature 一阶特征
forward pass 前向传导
forward propagation 前向传播
Gaussian prior 高斯先验概率
generative model 生成模型
gradient descent 梯度下降
Greedy layer-wise training 逐层贪婪训练方法
grouping matrix 分组矩阵
Hadamard product 阿达马乘积
Hessian matrix Hessian 矩阵
hidden layer 隐含层
hidden units 隐藏神经元
Hierarchical grouping 层次型分组
higher-order features 更高阶特征
highly non-convex optimization problem 高度非凸的优化问题
histogram 直方图
hyperbolic tangent 双曲正切函数
hypothesis 估值，假设
identity activation function 恒等激励函数
IID 独立同分布
illumination 照明
inactive 抑制
independent component analysis 独立成份分析
input domains 输入域
input layer 输入层
intensity 亮度/灰度
intercept term 截距
KL divergence 相对熵
KL divergence KL分散度
k-Means K-均值
learning rate 学习速率
least squares 最小二乘法
linear correspondence 线性响应
linear superposition 线性叠加
line-search algorithm 线搜索算法
local mean subtraction 局部均值消减
local optima 局部最优解
logistic regression 逻辑回归
loss function 损失函数
low-pass filtering 低通滤波
magnitude 幅值
MAP 极大后验估计
maximum likelihood estimation 极大似然估计
mean 平均值
MFCC Mel 倒频系数
multi-class classification 多元分类
neural networks 神经网络
neuron 神经元
Newton’s method 牛顿法
non-convex function 非凸函数
non-linear feature 非线性特征
norm 范式
norm bounded 有界范数
norm constrained 范数约束
normalization 归一化
numerical roundoff errors 数值舍入误差
numerically checking 数值检验
numerically reliable 数值计算上稳定
object detection 物体检测
objective function 目标函数
off-by-one error 缺位错误
orthogonalization 正交化
output layer 输出层
overall cost function 总体代价函数
over-complete basis 超完备基
over-fitting 过拟合
parts of objects 目标的部件
part-whole decompostion 部分-整体分解
PCA 主元分析
penalty term 惩罚因子
per-example mean subtraction 逐样本均值消减
pooling 池化
pretrain 预训练
principal components analysis 主成份分析
quadratic constraints 二次约束
RBMs 受限Boltzman机
reconstruction based models 基于重构的模型
reconstruction cost 重建代价
reconstruction term 重构项
redundant 冗余
reflection matrix 反射矩阵
regularization 正则化
regularization term 正则化项
rescaling 缩放
robust 鲁棒性
run 行程
second-order feature 二阶特征
sigmoid activation function S型激励函数
significant digits 有效数字
singular value 奇异值
singular vector 奇异向量
smoothed L1 penalty 平滑的L1范数惩罚
Smoothed topographic L1 sparsity penalty 平滑地形L1稀疏惩罚函数
smoothing 平滑
Softmax Regresson Softmax回归
sorted in decreasing order 降序排列
source features 源特征
sparse autoencoder 消减归一化
Sparsity 稀疏性
sparsity parameter 稀疏性参数
sparsity penalty 稀疏惩罚
square function 平方函数
squared-error 方差
stationary 平稳性（不变性）
stationary stochastic process 平稳随机过程
step-size 步长值
supervised learning 监督学习
symmetric positive semi-definite matrix 对称半正定矩阵
symmetry breaking 对称失效
tanh function 双曲正切函数
the average activation 平均活跃度
the derivative checking method 梯度验证方法
the empirical distribution 经验分布函数
the energy function 能量函数
the Lagrange dual 拉格朗日对偶函数
the log likelihood 对数似然函数
the pixel intensity value 像素灰度值
the rate of convergence 收敛速度
topographic cost term 拓扑代价项
topographic ordered 拓扑秩序
transformation 变换
translation invariant 平移不变性
trivial answer 平凡解
under-complete basis 不完备基
unrolling 组合扩展
unsupervised learning 无监督学习
variance 方差
vecotrized implementation 向量化实现
vectorization 矢量化
visual cortex 视觉皮层
weight decay 权重衰减
weighted average 加权平均值
whitening 白化
zero-mean 均值为零

tensorflow2中英文术语

张量 Tensor

变量 Variable

操作 Operation

优化器 Optimizer

层 Layer

导数（梯度） Gradient

损失函数 Loss Function

评估指标 Metrics

即时执行模式 Eager Execution

图执行模式 Graph Execution

计算图（数据流图） Dataflow Graph

多层感知机 Multilayer Perceptron, MLP

卷积神经网络 Convolutional Neural Network, CNN

循环神经网络 Recurrent Neural Network, RNN

强化学习 Reinforcement Learning, RL

深度强化学习 Deep Reinforcement Learning, DRL

多智能体强化学习 Multi-Agent Reinforcement Learning, MARL

批次 Batch

形状 Shape

容器 Container

推断 Inference

列表 List

字典 Dictionary, Dict

命名空间 Namespace

操作节点 OpNode

上下文 Context

上下文管理器 Context Manager

梯度带 GradientTape

监视 Watch

Reference

https://tf.wiki/zh_hans/appendix/terms.html