1. 共轭复数

2. 傅里叶变换的共轭对称性

3. 共轭根式(radical conjugates)

4. 共轭矩阵（自共轭矩阵、Hermitian（埃尔米特）矩阵）

5. 共轭方向

6. 共轭方向法

7. 共轭梯度法

8. 共轭分布(conjugacy)

9. 共轭函数（对偶函数、极化函数）

共轭（conjugate ）的概念在数学、物理、化学、地理等学科中都有出现。本意：两头牛背上的架子称为轭，轭使两头牛同步行走。扩展到数学等领域，共轭即为按一定的规律相配的一对或一组。

在数学中常见的共轭有：共轭复数，共轭根式，共轭矩阵，共轭转置，共轭分布，共轭先验，共轭函数, 共轭方向，共轭方向法，共轭梯度

法。

我们在关注共轭时，主要关注共轭的配对规律，共轭的性质，以及取共轭可以带来什么样的数学或应用优势。

1. 共轭复数

配对规律：在复数中，实部相等，虚部互为相反数的两个复数互为共轭复数。

公式描述： $z=a+ib$ 与 $\widetilde{z}=a-ib$ 互为复数

共轭性质：1）加和为实数

2）在复平面上，共轭复数所对应的点关于实轴对称

2. 傅里叶变换的共轭对称性

说明：这里的共轭就是上面介绍的复数共轭，不是指傅里叶变换与傅里叶反变换是一对共轭。

定义：

3. 共轭根式(radical conjugates)

配对规律：两个不等于零的根式A、B，若它们的积AB不含根式，则称A、B互为共轭根式。

共轭性质：通过相乘能把根式去掉。

描述：对根式的模式没有要求，只要满足配对规律的就都是共轭根式。

4. 共轭矩阵（自共轭矩阵、Hermitian（埃尔米特）矩阵）

描述：一般共轭矩阵是一个复数矩阵，实对称阵是Hermite阵的特例。

配对规律：矩阵中第 $i$ 行第 $j$ 列的元素与第 $j$ 行第 $i$ 列的元素互为共轭复数，的矩阵称为共轭矩阵。

公式描述：对于一个复数矩阵 $A=(a_{ij})$ ,如果 $a_{ij}=\widetilde{a_{ji}}$ ,则称 $A$ 为共轭矩阵。

若用 $H$ 表示矩阵的旋转取共轭操作（称为共轭转置操作），则满足 $A^{H}=A$ 的矩阵是共轭矩阵。

性质：1）主对角线上的元素全是实数。

2）若A 和B 是Hermite阵，那么它们的和A+B 也是Hermite阵

3）若A 和B 是Hermite阵，如果满足AB=BA，那么AB与BA也是Hermite阵

4）更多性质可参考《矩阵分析与应用（张贤达第2版）》第101页。拥有很多很好的性质。

5. 共轭方向

组配对规律：对于一组 $n$ 维的非零(列)向量 $\{v_1,v_2,v_3,...v_i,...v_j,...\}$ 和一个 $n*n$ 的对称正定矩阵 $Q$ ，若 $v_{i}^{T}Qv_j=0$ ，则称这组向量关于矩阵 $Q$ 是互相共轭的。因为每个向量都可以表示一个方向，所以称为共轭方向。

描述：由定义可知，在高维空间中，一个方向向量的共轭方向不是唯一的，而是一组。

特例：当 $Q$ 为单位矩阵时， $v_{i}^{T}v_j=0$ ，此时这组向量是正交的。由此可见，正交是共轭的一种特殊情况，共轭是正交的推广。

性质：1）互为共轭的一组向量，线性无关

2） $n$ 维空间中，关于任何一个 $n*n$ 的对称正定矩阵 $Q$ ， 非零的共轭向量个数不超过 $n$ 。

6. 共轭方向法

描述：共轭方向法(conjugate direction method)一种沿着共轭方向寻找无约束最优化问题极小点的一类方法。

对于一个二次型函数 $f(\vec{x})=\frac{1}{2}\vec{x}^TG\vec{x} + \vec{b} ^T\vec{x} + c$ , 其中 $\vec{x}\in R^n$ , $Q$ 是一个正定对称矩阵，

给定关于 $Q$ 的一组包含 $k(k<=n)$ 个共轭向量的共轭向量组 $\{ \vec{d^1},\vec{d^2},...,\vec{d^i},...,\vec{d^k} \}$ ,与一个初始搜索点 $\vec{x}^{(1)}$ ，可以通过k次迭代，在 $\vec{x}^{(1)}$ 与 $\{ \vec{d^1},\vec{d^2},...,\vec{d^i},...,\vec{d^k} \}$ 张成的k维子空间中找到 $f(\vec{x})$ 的极小值。每一次迭代都沿着一个新的共轭方向更新，沿该共轭方向的更新步长是一个解析解。

以下是来自共轭方向法的摘抄。

其中 $\alpha_k$ 是沿 $\vec{d}^{(k)}$ 方向的更新步长。 $\vec{d}^{(k)}$ 是提前已知的。具体的公式证明可参考：《最优化方法（赖炎连贺国平主编）》的第三章，3.3节。

7. 共轭梯度法

描述：共轭梯度法可以看作一类特殊的共轭方向法，不同的是，共轭方向法在使用时需要预先定义好一组共轭方向向量。共轭梯度法克服这一缺点，共轭方向向量是随着迭代过程，当场生成下一次迭代的共轭方向。以下摘抄自：共轭梯度法

其中 $\beta_{k}$ 也是解析解，具体推论与证明可参考 《最优化方法（赖炎连贺国平主编）》的第三章，3.3节。。

8. 共轭分布(conjugacy)

配对规律：如果两个分布满足同样的分布律（形式相同，参数不同），那么这两个分布互称为共轭分布。

性质：分布的表达式相同，参数不同

描述：共轭分布概念通常出现在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验（分布）。

9. 共轭函数（对偶函数、极化函数）

定义：设函数 $f:R^n\rightarrow R$ , 定义函数 $f^*:R^n\rightarrow R$ 为：

$f^*(y)=\sup_{x\in dom f} (y^Tx-f(x))$ ,

则函数 $f^*$ 是函数 $f$ 的共轭函数。其中 $dom f$ 表示函数 $f$ 的定义域。 $sup$ 表示函数的上确界，即最小上界。 $y$ 是共轭函数 $f^*$ 的变量。

使 $f^*$ 上确界有限（即 $y^Tx-f(x)$ 在 $dom f$ 上有上确界）的所有的 $y\in R^n$ 构成共轭函数 $f^*$ 的定义域。下图描述了此定义。

特点：无论原函数 $f$ 是否是凸函数，它的共轭函数 $f^*$ 都是凸函数。

性质：1）凸函数的共轭函数的共轭函数是原函数， $f^{**}=f$ 。

2）更多具体性质可参考《凸优化（王书宁译）》第85页

相关：可微函数的共轭函数称为函数的Legendre变换。为了区分一般情况和可微情况下所定义的共轭，一般函数的共轭有时称为Fenchel共轭。

参考：[1] 连续时间傅里叶变换的共轭与共轭对称性（详细推导）

[2]【机器学习之数学】02 梯度下降法、最速下降法、牛顿法、共轭方向法、拟牛顿法

[3]《凸优化（王书宁译）》

[4]《最优化方法（赖炎连贺国平主编）》的第三章

共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称相关推荐

共轭方向法和共轭梯度法
共轭向量及其性质基本思想共轭方向法共轭梯度法用于正定二次函数的共轭梯度法用于非二次函数的共轭梯度法共轭方向法是介于最速下降法和Newton法之间的一种方法.克服了最速下降法的锯齿现象,从而 ...
【数字信号处理】傅里叶变换性质 ( 序列傅里叶变换共轭对称性质示例 | 证明原序列实部 x_R(n) 的傅里叶变换是原序列傅里叶变换的共轭对称序列 )
文章目录一.前置公式定理 1.相关元素说明 x(n) 分解为实部序列与虚部序列 x(n) 分解为共轭对称序列与共轭反对称序列 ( 序列对称分解 ) X(e^{jω}) 分解为实部序列与虚部序列 X( ...
【数字信号处理】傅里叶变换性质 ( 频域函数的共轭对称分解 | 序列的傅里叶变换 | 傅里叶变换的共轭对称 | 傅里叶变换的共轭反对称 )
文章目录一.频域函数 ( 傅里叶变换 ) 的共轭对称分解二.序列对称分解定理三.傅里叶变换的共轭对称与共轭反对称 x(n)x(n)x(n) 的傅里叶变换是 X(ejω)X(e^{j \ome ...
连续时间傅里叶变换的共轭与共轭对称性（详细推导）
转载于:https://blog.csdn.net/reborn_lee/article/details/81136018 这里将连续时间傅里叶变换的共轭对称性单独拉出来,原因是这个性质有很多值得讨论 ...
【数字信号处理】傅里叶变换性质 ( 共轭对称与共轭反对称图像示例 | 实序列中共轭对称是偶对称 | 实序列中共轭反对称是奇对称 )
文章目录一.共轭对称与共轭反对称图像示例 1.共轭对称序列图示 2.共轭反对称序列图示 3.总结一.共轭对称与共轭反对称图像示例序列 x(n)=0.8nu(n)x(n) = 0.8^n u(n) ...
【数字信号处理】傅里叶变换性质 ( 序列对称分解定理示例 | 共轭对称序列与原序列之间的关系 | 共轭反对称序列与原序列之间的关系 )
文章目录一.序列对称分解定理示例 1.序列对称分解定理 2.因果序列 3.求解过程 n < 0 情况 n = 0 情况 n > 0 情况实因果序列的对称序列与原序列关系一.序列对称分 ...
【数字信号处理】傅里叶变换性质 ( 共轭对称、共轭反对称与偶对称、奇对称关联 | 序列对称分解定理 )
文章目录一.共轭对称.共轭反对称与偶对称.奇对称关联二.序列对称分解定理证明过程总结一.共轭对称.共轭反对称与偶对称.奇对称关联实序列 : 偶对称 : x(n)=x(−n)x(n) ...
【数字信号处理】傅里叶变换性质 ( 共轭对称序列性质 | 共轭反对称序列性质 | 模偶对称 | 相角奇对称 )
文章目录一.共轭对称序列性质二.共轭反对称序列性质三.模偶对称四.相角奇对称一.共轭对称序列性质共轭对称序列 , x(n)=x∗(−n)x(n) = x^*(-n)x(n)=x∗(−n) ...
【联系】—— Beta 分布与二项分布、共轭分布
1. 伯努利分布与二项分布伯努利分布:Bern(x|μ)=μx(1−μ)1−x\text{Bern}(x|\mu)=\mu^{x}(1-\mu)^{1-x},随机变量 xx 取值为 0,1,μ\mu ...

共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称

1. 共轭复数

2. 傅里叶变换的共轭对称性

3. 共轭根式(radical conjugates)

4. 共轭矩阵（自共轭矩阵、Hermitian（埃尔米特）矩阵）

5. 共轭方向

6. 共轭方向法

7. 共轭梯度法

8. 共轭分布(conjugacy)

9. 共轭函数（对偶函数、极化函数）

共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称相关推荐

最新文章

热门文章