奇异值

定义: 设$A\in C^{m\times n}$，如果存在非负实数$\sigma$和非零向量$u\in C^n,v\in C^m$使得:

$$ \begin{equation} Au = \sigma v,A^Hv = \sigma u \end{equation} $$

则称$\sigma$为$A$的奇异值,$u$和$v$分别称为$A$对应于奇异值的右奇异向量和左奇异向量

根据上述定义，可以得到:

$$ \begin{equation} A^HAu = \sigma A^Hv = \sigma^2u\\ A^HAv = \sigma A^Hu = \sigma^2v \end{equation} $$

因此$\sigma^2$就是$A^HA$的特征值，也是$AA^H$的特征值，而$u$和$v$分别是$A^HA$和$AA^H$对应于特征值$\sigma^2$的特征向量。

实矩阵的奇异值分解(SVD)

定理: 设$A\in R^{m\times n},r = rank(A)$,则一定存在正交矩阵$U\in R^{m\times m},V\in R^{n\times n}$和对角矩阵

$$ \begin{equation} \Sigma = diag(\sigma_1,\sigma_2,\cdots,\sigma_r,0,\cdots,0)\in R^{m\times n} \end{equation} $$

使得$A=U\Sigma V^T$

$A=U\Sigma V^T$称为矩阵$A$的奇异值分解，其中$\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0,(i=1,2,\cdots,r)$称为$A$的奇异值。

性质1: $A$的非零奇异值的个数$r$就是A的秩

性质2: 如果$A$是$n$阶方阵，则$\vert det(A)\vert = \prod_{i=1}^n\sigma_i$

性质3: $\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r$,是$A^TA$或$AA^T$的特征值的开方

性质4: 设$U=[u_1,u_2,\cdots,u_m]$,$V=[v_1,v_2,\cdots,v_n]$，则$u_1u_2\cdots u_m$是$AA^T$的特征向量，$v_1v_2\cdots v_n$是$A^TA$的特征向量

性质5: $A$可以表示成$r$个秩为1的矩阵的和。

$$ \begin{equation} A = U\Sigma V^T = U_r\Sigma_rV_t^T = \sigma_1u_1v_1^T+\sigma_2u_2v_2^T\cdots+\sigma_ru_rv_r^T \end{equation} $$

这是A的奇异值分解的紧凑形式

其实和SVD有关的数学内容是非常多的，这里只是简单记录了一下奇异值分解在数学上的相关定义，还有很多内容没有这里没有给出。

奇异值分解在矩阵论中是一个非常重要的概念，在很多工程问题中都需要用到SVD，以后可能会单独写一些关于SVD具体应用的博文。

Flyaway is the owner of this blog.

So what do you think? Did I miss something? Is any part unclear? Leave your comments below