数学的记号（notation）

记号让数学更简洁，表达能力更强。数学的进化史，就是符号的进化史。

⋅∥⋅\cdot\|\cdot：表示的是 KL 距离；
f(i)jf_j^{(i)}：上标之所以加括号，显然是将其与指数（exponent）做区分，上标的 (i)(i) 一般表示的样本序号；
- 至于 jj，如果 ff 为矩阵的话，jj 可以表示其每一行；
- f(i)jf_j^{(i)} 就可以表示，第 ii 个样本的第 jj 行的行向量；

0. 变量的读法

x~\tilde x：xtilde；（tilde，就表示波浪线）；
x¯\bar x：xbar；

1. 下标

我们说 dd 维的数据，其维度索引分别为：1,2,⋯,d1, 2, \cdots,d，如果从中随机抽 d′d'，下标索引是什么呢？

必然不是有顺序的 1,2,⋯,d′1, 2, \cdots, d'，有顺序就无法体现随机性了，而是再引入一个记号 ii：

i1,i2,⋯,id′

i_1,i_2,\cdots,i_{d'}

2. 特别的含义

集合的冒号（::）

Θ(g(n))={f(n):\Theta(g(n))=\{f(n): 存在正常量 c1,c2c_1, c_2 和 n0n_0，使得对所有 n≥n0n\geq n_0，有 0≤c1g(n)≤f(n)≤c2g(n)0\leq c_1g(n)\leq f(n)\leq c_2g(n) }\}

这里集合表示中的冒号的含义即为：使得，满足的所有xx的集合；

3. k-means

L=∑i=0k−1∑x∈CiD(x,μi)

\mathcal L=\sum_{i=0}^{k-1}\sum_{\mathbf{x}\in C_i}D(\mathbf x,\mathbf {\mu}_i)
再来看一套更为简洁的记号：

L=∑i=0n−1D(xi,μγi)

\mathcal L=\sum_{i=0}^{n-1}D(\mathbf x_i,\mathbf{\mu}_{\gamma_i})

γi\gamma_i 表示的是 xi\mathbf{x}_i 的所属类别（Cluster membership）

随机选择 kk 个聚类中心，μ(0)0,μ(0)1,⋯,μ(0)k−1\mathbf{\mu}_0^{(0)},\mathbf{\mu}_1^{(0)},\cdots,\mathbf{\mu}_{k-1}^{(0)}，kmeans 算法对样本所属类别（Cluster membership）的更新如下：

γ0i=argmin0≤j≤k−1D(xi,μ(0)j)

\gamma_i^0=\underset{0\leq j\leq k-1}{\arg\min}\;D(\mathbf{x}_i,\mathbf{\mu}_j^{(0)})
类别中心的更新如下：

μ(0)j=1|{i:γ(0)i=j}|∑i=0,γ(0)i=jn−1xi

\mathbf{\mu}_j^{(0)}=\frac 1{|\{i:\gamma_i^{(0)}=j\}|}\sum_{i=0,\gamma_i^{(0)}=j}^{n-1}\mathbf{x}_i

4. 下标的理解

我们来看大名鼎鼎的K-SVD算法：

已知维度关系：Yn×N=Dn×KXK×NY_{n\times N}=D_{n\times K}X_{K\times N}，则ωk={i|1≤i≤N,xkT(i)≠0}\omega_k=\{i|\;1\leq i\leq N,\;\textrm x_T^k(i)\neq0\}，表示的是遍历全部样本{yi}Ni=1\{y_i\}_{i=1}^N对应的在 DD 下的稀疏表示 {xi}Ni=1\{x_i\}_{i=1}^N（1≤i≤N1\leq i\leq N），它们的长度为 K×1K\times 1，在第 kk 个上是否显著为0，如果不是则该样本 yiy_i的稀疏表示形式 xix_i对应的下标 ii，加入 ωk\omega_k中。也即 ωw\omega_w收集的是样本 yiy_i的稀疏表示版本 xix_i，只不过要求该稀疏表示的第 kk个元素（entry）不显著为0.
所以，如算法中介绍的那样，Define the group of examples that use this atom (k-th atom in Dn×KD_{n\times K})