矩阵分析 4

其中 U1 Urmr , U2 Urrn ， R1 是 r 阶正线 上三角矩阵， L2 是 r 阶正线下三角矩阵。
矩阵的奇异值分解
引理 1 ：对于任何一个矩阵 A 都有
Rank( AAH ) Rank( AH A) Rank( A)
引理 2 ：对于任何一个矩阵 A 都有 AAH 与 AH A
都是半正定的 Hermite-矩阵。
c22 L O
0
cn1
cn2
UR
cnn
其中 U 1 2 L n Unnn ，
c11 c21 L cn1
R
c22 L
cn2
O
0
cnn
显然矩阵 R 是一个正线上三角矩阵。
下面考虑分解的唯一性。设有两种分解式
那么有
A UR U° R°
定理4.1.2
U°
1
U
R° R1
注意到
那么 (P145)
(1)
存在矩阵
C nn n
满足
B B1 , C 1C1
（2） C H (CC H )1(BH B)1 BH C1H (C1C1H )1(B1H B1)1 B1H
矩阵的正交三角分解 ( UR 分解)
定理
设
A
C
nn n
，那么
A
可唯一地分解为
A UR
或
A R1U1
其中
U , U1 U nn
2
5
0
0
1 2
0
1 2
2 5
0
1 5
0
0
1
2
0
1
2
于是可得奇异值分解式为
5
AV
0 0
0
0
2 0
U
H
0
1
5
0
2
5
0
0
1 2
0
1 2
2 5
0
1 5
0
0
1 0
1
2 2
5 0 0 0
0
2 0 1
0
1
0
0
练习：求下面矩阵的奇异值分解式
1 0 1
(1)
1 3
1 3
T
1
再将其单位化，得到一组标准正交向量组
1
1
1
1
2 2
2
T
2
0 0
2
1
2
2
6 6
6 6
6 T
3
0
3
1
3
3
3
6
3 6
3 6
3 T
2
这样，原来的向量组与标准正交向量之间的关系 可表示成
1 21
2
6 2
2
2 2
1
3
23 3
3
6 6
2
2 2
1
将上面的式子矩阵化，即为
同时，我们称
i i i 0, i 1, 2,L , r 为矩阵 A 的正奇异值，简称奇异值。
例 ：求下列矩阵的奇异值
1 2 (1) A 0 0
0 0
0 1 1 (2) A 2 0 0
解： （1）由于
5 0 0 AAH 0 0 0
0 0 0
显然 AAH 的特征值为 5，0，0，所以 A 的奇异
0
1
0
1 0 1
(2)
0 2
1 0
1 0
推论：设 A Crmn ， 1 2 L r 是 A
的 r 个奇异值，那么存在次酉矩阵 Vr Vrmr ,
U r U r nr 使得
A
Vr
0
0 0
U
r
H
矩阵的极分解
定理：
设
A
C nn n
，那么必存在酉矩阵
U
U
nn
与正定的 H-矩阵 H1, H2
使得
A H1U UH2
且这样的分解式是唯一的。同时有
AH
A
H
2 2
,
AAH H12
设 A Crmn ， i 是 AAH 的特征值，i 是 AH A
的特征值，它们都是实数。如果记
1 2 L r r1 r2 L m 0 1 2 L r r1 r2 L n 0
特征值 i 与 i 之间有如下关系。
定理：设 A Crmn ，那么
i i 0, i 1, 2,L , r .
A 1 2 3 1 2 3
2
2 2
2
2
0
6 2
6 6
UR
0
0
2 3
3
2 2 1 (2) A 0 2 2
2 1 2
解：首先判断出
A
C 33 3
，由定理可知必存
在 U U 33 ，以及三阶正线上三角矩阵 R 使得
A UR
推论：设 A Crmn ，则 A 可分解为 A U1R1L2U2
0
V1HV2
U 1 H 1
AV2
由上式可得
U1H AV2 0
U H AV
UU12HH
A
V1
V2
UU12HH
AV1 AV1
U1H U2H
AV2 AV2
0
0 0
这里，要注意 U2H A 0. 我们称此定理为奇异值分解定理。称表达式
A
U
0
0 0
V
H
为矩阵 A 的奇异值分解式 ( SVD )。
其中 R1 是正线下三角矩阵，而 U1 U nn 。
此结论也可以被推广为
定理：设 A Crmr ，则 A 可以唯一地分解为
A UR
其中 R 是 r 阶正线上三角矩阵，U Urmr ，即
U 是一个次酉矩阵。
证明：分解的存在性证明，同上面的例题完全一样。
分解的唯一性证明。设
A U1R1 U2 R2
0 3 0 2 2
解：对此矩阵只实施行变换可以得到
0 1 0 0 0 0 0 0 1 1
0 0 0 0 0
r2 r1,
1 r1 ( 3 )
r1(2) r2
(3r1 2r2 ) r3
所以 Rank(A) 2 ，且容易看出此矩阵的第二列 和第四列是线性无关的，选取
1 B 2
3
C
0 0
值为 5.
（2）由于
AAH
2 0
0 4
显然 AAH 的特征值为 2，4，所以 A 的奇异值
为 2，2。
例 2 证明：正规矩阵的奇异值为其非零特征值 的模长。
定理：设 A Crmn ，
1 2 L r
是 A 的 r 个奇异值，那么存在 m 阶酉矩阵 U
和 n 阶酉矩阵 V 使得
UH
AV
0
0 0
则
AH A R1H R1 R2H R2
因为 AH A 是正定的 Hermite 矩阵（为什么？），
由正定二次型的等价定理可知，其三角分解是唯一
的，故 R1 R2 ，进一步有 U1 U2 。
例 1 ：求下列矩阵的正交三角分解
1 1 1
A 1 0
0
0 1 0
0 0
1
解： 容易判断出 AC343，即
证明：假设矩阵 A 的前 r 个列向量是线性无关的，对 矩阵 A只实施行初等变换可以将其化成
Ir D
0
0
即存在 P Cmmm 使得
于是有
PA
Ir 0
D
0
A
P1
Ir 0
Ir
D BC
其中
B
P 1
Ir
0
Cr mr
,C
Ir
D Crrn
如果 A的前 r 列线性相关，那么只需对 A 作列变换
U°
1
U
是酉矩阵，而 R°R1 是一个正线上三
角矩阵，由前面的结论可知
因此有
U°
1
U
I
,
R°R1 I
U° U , R° R
因为有 ACnnn ，所以 AT Cnnn ，按照分解
的存在性可知 AT U° R°
其中 U° U nn , R° 是正线上三角矩阵。于是 A R°T U°T R1U1
其中，
1
2
O
r
且满足
1 2 L r 0
证明： 由于 Rank(A) r ，所以 AAH 的特征值为
12 22 L r2 0,
2 r 1
r22
L
m2 0
因为 AAH 是一个 H-阵，所以存在 m 阶酉矩阵 U
且满足
UH
AAHU
2
0
0 0
将酉矩阵 U 按列进行分块，记
1
1
C232 ,
2
1 0
0 0
0 1
0 1
C2
25
由上述例子可以看出矩阵的满秩分解形式并不唯一。
一般地我们选取阶梯型矩阵主元所在的列对应的列 向量构成列满秩矩阵，将阶梯型矩阵全为零的行去 掉后即可构成行满秩矩阵。但是不同的分解形式之 间有如下联系：
定理：如果 A BC B1C1 均为矩阵 A 的满秩分解，
由这三个标准正交特征向量组成矩阵 V ，所以有
1 0 0 V 0 1 0
0 0 1
再计算 AH A 的标准正交特征向量，解得分别与5，
0 对应的两个标准正交特征向量
1
1
2
5
,
5
2
2
1
5
5
由这两个标准正交特征向量组成矩阵 U , 那么有
1
U
2
5 5
2
5
1
5
于是可得奇异值分解式为
U U1 U2 ，其中
U1 Urmr ,
U2
U m(mr ) mr
于是有
UU12HH
AAH
U1
2
U2
0
0 0
从而有
U1H AAHU1 2 , U2H AAHU 2 0
令 V1 AHU11 ，那么容易验证
U
H 2
A
0.
V1 U r nr , V1HV1 Ir
选取 V2 使得 V V1 V2 是酉矩阵， 则
0 0
0 0
1 0
2 0
3 0
所以 Rank(A) 1，且此矩阵的第三，第四，第五
列任意一列都是线性无关的，所以选取哪一列构成 列满秩矩阵均可以。
选取
B
1 2
C 21 1
,
C 0 0 1 2
3
C 15 1
也可以选取
B
2 4
C 21 1
,
ห้องสมุดไป่ตู้
C 0
0
1 2
1
3
2
C 15 1
0 1 0 1 1 (3) 0 2 0 1 1
1, 2, L , n
并且向量组之间有如下关系
1 c111 2 c211 c222 3 c311 c322 c333
LLLL
n cn11 cn22 L L cnnn
其中 cii i 0, i 1, 2,L , n ，于是有
A 1 2 L n
1 2 L
c11 c21 L
n
U
0 1
1 0
再计算 AAH 的标准正交特征向量，解得分别与 5，
2，0，0 对应的两个标准正交特征向量
1 5
0
1
2
0 0
, 5
2
1 0 1
2
,
2
3
2
0
1
0
5
, 5
4
1 1
0 0
2 2
由这四个标准正交特征向量组成矩阵 V ，所以有
1
5
0
V
1 2 (1) A 0 0
0 0
0 1
(2) A 1 0 0 2
1
0
解 ： （1）容易计算 AAH 的特征值为 5，0，0， 所以 A 的奇异值为 5 。下面计算 AAH 的标准
正交特征向量，解得分别与 5，0，0对应的三个标 准正交特征向量
1 0 0
1 0 ,2 1 ,3 0
0 0 1
5
AV 0
0
0
0
U
H
0
1 0 0 5 0 1
0
1
0
0
0
0
1
0
0 0
2
5 5
2
5
1
5
解 ：（2）容易计算
AH
A
2 0
0 5
那么 A 的非零奇异值为 5 , 2 ，AH A 对应于
特征值 5，2 的标准特征向量为
1
0 1 ,
2
1 0
由这两个标准正交特征向量组成矩阵 U
那么有
，
R 是正线上三角矩阵，R1 是
正线下三角矩阵。
A
证明：先证明分解的存在性。将矩阵 按列分块得到
A 1 2 L n
ACn
由于
nn ，所以
1, 2 , L , n
是线性无关的。利用 Schmidt 正交化与单位化方法， 先得到一组正交向量组
1, 2, L , n
再单位化，这样得到一组标准正交向量组
第四章 矩阵的分解
这章我们主要讨论矩阵的五种分解： (1) 矩阵的满秩分解 (2) 正交三角分解 (3) 奇异值分解 (4) 极分解 (5) 谱分解
矩阵的满秩分解 定理：设 A Crmn ，那么存在
使得
B
C mr r
,
C Crrn
A BC
其中 B 为列满秩矩阵，C 为行满秩矩阵。我们成此分
解为矩阵的满秩分解。
使得前 r 个列是线性无关的。然后重复上面的过程
即可。这样存在
且满足
P
C mm m
,
Q
C nn n
PAQ
Ir 0
D
0
从而
A
P 1
Ir 0
D
0
Q1
P
1
Ir
0
Ir
D Q1
BC
例 ：分别求下面三个矩阵的满秩分解
1 2 1 0 1 2
(1) 1 2 2 1 3
3
2 4 3 1 4 5
如何求此分解表达式？特别要注意下面的关系式
AH
A
V
2
0
0 0
nn
V
H
AAH
U
2
0
0 0
mm
U
H
即
AH AV
V
2
0
0
0
nn
AAHU
U
2
0
0 0 mm
由此可知 V H 的列向量就是 AH A 的标准正交特 征向量；而 U H的列向量就是 AAH 的标准正交特
征向量。
例 ：求下列矩阵的奇异值分解表达式
4 8 6 2 8 10
解 ：（1）对此矩阵只实施行变换可以得到
1 2 1 0 1 2 1 2 0 1 1 1
1
221
3
3
0
0
1
1
2 4 3 1 4 5 0 0 0 0
2 0
1 0
M
4 8 6 2 8 10 0 0 0 0 0 0
由此可知 Rank( A) 2，且该矩阵第一列，第三列 是线性无关的。选取
1 B 1
2 4
1
2 3
C2
42
6
,
C
1 0
2 0
0 1
1 1
1 2
1 1
C2
26
同样，我们也可以选取
1 B 1
2 4
0
1 1
C2
42
2
M (r2 r1)
,
C
1 0
2 0
1 1
0 1
1 2
2 1
C 26 2
0 0 1 2 3 (2) 0 0 2 4 6
解：对此矩阵只实施行变换可以得到
阵。按照定理的证明过程，将 A
A是一个列满秩矩
[1 2 3 ] 的
三个列向量正交化与单位化。先得到一个正交向量
组
1 1 1 1 0 0T
2
2
(2 , 1) (1, 1)
1
2
1 2
1
1 2
1 2
1
0
T
3
3
(3, 1) (1, 1)
1
(3, 2 ) (2, 2)
2
3
1 2
1
1 3
2
1 3