第四章 矩阵分解

矩阵的分解矩阵的分解是一种数学方法，它把复杂的矩阵拆分成几个简单的子矩阵，以便能更好地理解和解决特定矩阵问题。

矩阵分解也可以用来提高现有计算机算法的效率。

它是一种重要的数学工具，常用于机器学习，信号处理，图像处理，信息论，控制工程，统计学，优化，数值分析，科学计算等。

矩阵分解可以把大的矩阵分解成小的子矩阵，以便更容易理解特定的矩阵问题。

典型的矩阵分解方法包括LU 分解，QR分解，SVD分解，Cholesky分解，Schur分解，病态分解，矩阵分解等。

LU分解是将一个矩阵分解成一个下三角矩阵和一个上三角矩阵的过程。

这种分解可以用于解决特定的线性方程组，以及求解矩阵的逆。

一般来说，LU分解具有非常高的计算效率，而且它不需要很多内存来存储矩阵。

QR分解是把一个矩阵分解成一个正交矩阵和一个上三角矩阵的过程。

这种分解可以用来求解矩阵的特征值和特征向量，以及求解线性方程组。

QR分解是一种非常有用的分解形式，因为它可以使用稠密矩阵和稀疏矩阵的快速算法。

SVD(奇异值分解)是将一个矩阵分解成两个正交矩阵和一个对角矩阵的过程。

SVD分解可以用来解决矩阵的秩、特征值、特征向量以及正交正则化问题。

一般来说，SVD 分解是一种非常有效的矩阵分解方法，并且它可以用来提高现有的计算机算法的效率。

Cholesky分解是一种分解矩阵的方法，它可以将一个对称正定矩阵分解成一个下三角矩阵和一个上三角矩阵的乘积。

Cholesky分解可以用来解决线性方程组、估计最小二乘解、求解矩阵的特征值等。

Cholesky分解的计算效率很高，并且它可以用来提高现有的计算机算法的效率。

Schur分解则是将一个实矩阵分解成一个可逆矩阵和一个上三角矩阵的乘积。

Schur分解可以用来解决矩阵的特征值和特征向量问题，以及求解线性方程组。

Schur分解也可以用来提高现有计算机算法的效率。

病态分解是将一个矩阵分解成一个低秩的正交矩阵和一个正定矩阵的乘积的过程。

现代控制理论讲义第四章矩阵范数和奇异值分解4.1 引言在这一讲中，我们将引入矩阵范数的概念。

之后会介绍矩阵的奇异值分解或者叫SVD。

SVD 揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。

在下一讲中，我们会花更大的篇幅来叙说SVD的应用。

例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。

我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。

考虑求下列矩阵的逆马上就可以求得现在我们假设对一个受到扰动的矩阵求逆求逆后，结果就成了在这里表示A中的扰动，表示中的扰动。

显然中一项的变化会导致中的变化。

如果我们解，其中，得到，加入扰动后，解得。

在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生的变化。

以上例子中我们看到的要比在标量情况下差的多。

如果是标量，那么，所以的倒数中小数部分的变化和的变化在同一量级上。

因此，在上例中的现象完全是在矩阵的时候才出现的。

看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。

随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。

在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。

在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。

4.2 矩阵范数一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：其中，这里的范数指的是标准欧氏范数。

定义的归纳2-范数如下：术语“归纳”是指在向量和的范数的基础上，使得以上矩阵范数的定义有意义。

该定义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。

第一节 正规矩阵【Schur 三角化定理】设n nA ⨯∈，则存在酉矩阵U ，使*U AU B =，其中B 为一个上三角矩阵.【酉矩阵】n 阶复方阵U 的n 个列向量是U 空间的一个标准正交基.1H H H n U U UU E U U -==⇔=性质：设有矩阵A ，B ，则（1）若A 是酉矩阵，则1A -也是酉矩阵；（2）若A ，B 是酉矩阵，则AB 及BA 也是酉矩阵；（3）若A 是酉矩阵，则|det()|1A =；（4）A 是酉矩阵⇔A 的n 个列向量是两两正交的单位向量. 【定理4.1.1】矩阵A 可以酉对角化⇔**AA A A =.*U AU T =是上三角矩阵，*********()()AA UTU UTU UTU UT U UTT U === *********()()A A UTU UTU UT U UTU UT TU ===，故****A A AA T T TT =⇔=A 可以酉对角化，则∃酉矩阵U 使*U AU D =***************()()()()AA U DU U DU U DUU D U U DD UU D DU U DU U DU A A ======【定义4.1.1】设n nA ⨯∈，若**AA A A =，则称A 是正规矩阵.【引理4.1.1】设A 为正规矩阵，若A 又为三角矩阵，则A 为对角矩阵. 【定理4.1.2】设n nA ⨯∈，则A 为正规矩阵⇔A 有n 个两两正交的单位特征向量.【推论4.1.1】正规矩阵属于不同特征值的特征向量是两两正交的.【定理4.1.3】设()i j n n A a ⨯=是复矩阵，1λ，2λ，……，n λ为A 的n 个特征值，则 （1）（Schur 不等式）221,1||||n nii ji i j aλ==≤∑∑（2）A 为正规矩阵⇔221,1||||nni i j i i j a λ===∑∑（3）*2,,1tr()||ni ji j AA a==∑【推论】设A 为正规矩阵且幂零，则0A =.【定义4.1.2】设a 与b 是实数，且0b ≠，则称二阶实矩阵a b b a ⎛⎫ ⎪-⎝⎭为一个Schur 型. 【定理4.1.4】（实正规矩阵）设A 是n 阶实矩阵，则A 是正规矩阵⇔存在正交矩阵Q 使得12T s Q AQ A A A =⊕⊕⊕其中每个i A 或者是一阶实矩阵，或者是一个Schur 型. 【推论4.1.2】设A 是n 阶实矩阵.（1）A 是对称矩阵⇔存在正交矩阵Q ，使得T Q AQ 是对角矩阵； （2）A 是反对称矩阵⇔存在正交矩阵Q ，使得120T s Q AQ A A A =⊕⊕⊕⊕其中每个00i i i b A b ⎛⎫= ⎪-⎝⎭，从而反对称矩阵的非零特征值为纯虚数；（3）A 是正交矩阵⇔存在正交矩阵Q ，使得12()T s t s Q AQ I I A A A =⊕-⊕⊕⊕⊕其中每个i A 是二阶Givens 旋转矩阵，从而正交矩阵的特征值的模均为1. 设B 是n 阶复矩阵.（4）B 是Hermite 矩阵⇔存在正交矩阵U ，使得T U BU 是实对角矩阵； （5）B 是反Hermite 矩阵⇔存在正交矩阵U ，使得T U BU 是纯虚数对角矩阵（即实部为0）；（6）B 是酉矩阵⇔存在酉矩阵U ，使得T U BU 是对角元素的模均为1的对角矩阵，从而酉矩阵的特征值的模均为1；（7）Hermite 矩阵A 正定⇔A 的所有顺序主子式均大于0； 【引理4.1.2】Hermite 阵或实对称矩阵A 在某一个k 维子空间上正定⇔A 至少有k 个特征值（包括重数）大于零.第二节 正规矩阵的谱分解设A 是正规矩阵，则由定理4.1.1知，存在酉矩阵U 使得*12(,,,)n U AU diag λλλ=.因而*12(,,,)n A Udiag U λλλ=.令12(,,,)n U ααα=，则12*1*212****111222(,,,)n n n n n nA αλλααααλαλααλααλαα⎛⎫⎛⎫ ⎪⎪ ⎪ ⎪= ⎪⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭=+++ （4.2.1）由于12,,,n λλλ为A 的特征值，12,,,n ααα为A 对应的两两正交的单位特征向量，故式（4.2.1）称为正规矩阵A 的谱分解或特征（值）分解。

矩阵分析第四章 矩阵分解§4.1: 矩阵的满秩分解 §4.2: 矩阵的正交三角分解 §4.3: 矩阵的奇异值分解 §4.4: 矩阵的极分解 §4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或 较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使 A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存 在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH∼(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左 乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵 P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第 三类初等矩阵P(i,j(k)).P (i , j ) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 1 0 1 1 1 0 1 1初等变换与初等矩阵举例⎛1 ⎞⎛ 1 4 7 ⎞ ⎛ 1 4 7 ⎞ ⎜ 0 1 ⎟⎜ 2 5 8 ⎟ = ⎜ 3 6 9 ⎟ ; ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 1 0 ⎟⎜ 3 6 9 ⎟ ⎜ 2 5 8 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎛1 4 7⎞⎛1 ⎞ ⎛ 1 7 4⎞ ⎜ 2 5 8⎟⎜ 0 1⎟ = ⎜ 2 8 5⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 3 6 9⎟⎜ 1 0⎟ ⎜ 3 9 6⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 ⎞⎛1 4 7⎞ ⎛ 1 4 7 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ 0.2 ⎟ ⎜ 2 5 8 ⎟ = ⎜ 0.4 1 1.6 ⎟ ; ⎜ ⎜ 1⎟⎜ 3 6 9 ⎟ ⎜ 3 6 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 4 7⎞⎛1 ⎞ ⎛ 1 4 7 / 9⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 2 5 8⎟⎜ 1 ⎟ = ⎜ 2 5 8/9⎟ ⎜ 3 6 9⎟⎜ 1/ 9 ⎟ ⎜ 3 6 1 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠---- i ---- j⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ 1⎠P (i , j ( k )) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝1k 1⎞ ⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ 1⎠i j3⎛1 ⎞⎛ 1 2 3⎞ ⎛ 1 2 3 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ −4 1 ⎟ ⎜ 4 5 6 ⎟ = ⎜ 0 −3 −6 ⎟ ; ⎜ 1⎟⎜ 7 8 9⎟ ⎜ 7 8 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠−3 ⎞ ⎛ 1 2 0 ⎞ ⎛ 1 2 3⎞⎛1 ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 4 5 6⎟⎜ 1 ⎟ = ⎜ 4 5 −6 ⎟ ⎜7 8 9⎟⎜ 1 ⎟ ⎜ 7 8 −12 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价 于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵 P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非 零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为⎛ Er ⎜ ⎝ 0 ⎛1 ⎜ ⎜ D⎞ ⎜ = ⎜ ⎟ 0 ⎠ ⎜ ⎜ ⎜ ⎜ ⎝ 1 1 * * * * *⎞ ⎟ *⎟ *⎟ ⎟ *⎟ ⎟ ⎟ ⎟ ⎠一般地,∀A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的 (1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学 章权兵1矩阵分析§4.1: 矩阵的满秩分解⎛ 1 ⎜ A = ⎜ −2 ⎜ 0 ⎝ 0 0 0 0⎞ ⎛1 ⎟ ⎜ 1 ⎟ , 没 有 P ∈ C 33 × 3 使 P A = ⎜ ⎟ ⎜ 0⎠ ⎝0 0 0 0⎞⎛1 ⎟⎜ 1⎟⎜0 0⎟⎜0 ⎠⎝ 0 0 1 0⎞ ⎛ 1 ⎟ ⎜ 1 ⎟ = ⎜ −2 0⎟ ⎜ 0 ⎠ ⎝ 0 1 0 0⎞ ⎟ 0⎟ 0⎟ ⎠1⎞ ⎟ ⎟. 0⎟ ⎠定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分 解,如果B∈Crm×r,C∈Crr×n. 例:⎛1 ⎜ ⎜1 ⎜0 ⎝ 1 2 1 2 3 1 3 ⎞ ⎛1 ⎟ ⎜ 2 ⎟ = ⎜1 − 1⎟ ⎜ 0 ⎠ ⎝ 1⎞ ⎟⎛ 1 2 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ ⎛1 4 ⎞ ⎜ ⎟ = ⎜1 ⎟ 1 1 − 1⎠ ⎜ ⎝0 0 1 2⎞ ⎟⎛ 1 3 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ −1 0 1 1 5 ⎞ ⎟ − 1⎟ ⎠⎛ 1 ⎜ A P ( 2, 3) = ⎜ − 2 ⎜ 0 ⎝⎛ 1 0 0 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 0.5 0 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ PAQ = P (2,1(0.5)) AP (2, 3) = ⎜ 0.5 1 0 ⎟ ⎜ −2 1 0 ⎟ = ⎜ 0 1 0 ⎟ ⎜ 0 0 1⎟⎜ 0 0 0⎟ ⎜ 0 0 0⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满 秩分解.矩阵满秩分解的存在定理定理4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 A⎛ Er ⎜ ⎜ 0 ⎝ 0 ⎞ ⎛ Er ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ ⎛ Er ⎞ -1 ⎜ ⎟ ( E r =P ⎝ 0 ⎠ ⎞ ⎟ ⎟ (E r ⎠ 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:⎛E PA = ⎜ r ⎝ 0 D ⎞ ⎛ Er ⎞ = (Er 0 ⎟ ⎜ 0 ⎟ ⎠ ⎝ ⎠ D)⎛E A = P −1 ⎜ r ⎝ 0D⎞ Er ⎞ −1 ⎛ ⎟= P ⎜ ⎟ (Er 0 ⎠ ⎝ 0 ⎠D ) = BC其中0)⎛E ⎞ B = P −1 ⎜ r ⎟ ; C = ( Er ⎝0⎠D)Q-10)= BC,⎛ 其中B=P-1 ⎜Er ⎞ ⎜ 0 ⎟ ,C= ⎟ ⎝ ⎠(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有 B=P-1(Er,0)T ⇒ PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ⎜ 1 ⎜⎛1 1 2 3 ⎞ ⎟ 2 3 2 ⎟ 为例作说明如下: ⎜ 0 1 1 −1⎟ ⎝ ⎠①用初等行变换把A前两列变为(E2 0)T⎛1 1 2 3 ⎞ ⎛1 1 2 3 ⎞ ⎛1 0 1 4 ⎞ ⎛1 1⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎛1 0 1 4 ⎞ ⎜ 1 2 3 2 ⎟ → ⎜ 0 1 1 −1 ⎟ → ⎜ 0 1 1 −1⎟ = ⎜ 1 2 ⎟ ⎜ 0 1 1 −1⎟ ⎠ ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ⎛1 1 2 3 ⎞ ⎛1 1 2 ⎜ ⎟ ⎜ ⎜1 2 3 2 ⎟ → ⎜0 1 1 ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 ⎝ ⎠ ⎝ 3 ⎞ ⎛ 1 −1 0 5 ⎞ ⎛ 1 2 ⎞ ⎟ ⎜ ⎟ ⎜ ⎟ ⎛ 1 −1 0 5 ⎞ −1 ⎟ → ⎜ 0 1 1 − 1 ⎟ = ⎜ 1 3 ⎟ ⎜ ⎟ 0 1 1 −1 ⎠ −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠a1 a3安徽大学 章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分 解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ⇒ r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行 (列)数;A的行列式秩是其非0子式的最大阶数. A=BC ⇒ rank A≤rank B 且 rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可 Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ⇒ x满足⑵. x满足⑵ ⇒ x*A*Ax=0,即(Ax,Ax)=0 ⇒ Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而 CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而 θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ⇒ B1θθ′C1=B1C1 ⇒ B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ⇒ θθ′=E ⇒ θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当 ∃θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解： BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解 行(列)满秩矩阵的分解 一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中 U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, … ,αn得标准正交组ν1,…,νn满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22∀i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.⎛ C 11 ⎜ A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ⎜ ⎜ ⎜ ⎜ ⎝C n1 ⎞ ⎟ C n2 ⎟ ⎟ ⎟ C nn ⎟ ⎠=UR,安徽大学 章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有 UR=U′R′ ⇒ U′*U = R′R-1 = W 矩阵 W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知 W=E. 即 (U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=LU,其中 U∈Un×n,L为正线下三角矩阵. 证: ∀A∈Cnn×n ⇒ AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:∀A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22∀i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=⎛ C 11 ⎜ ⎜ ⎜ ⎜ ⎝C 21 C 22C r1 ⎞ ⎟ Cr2 ⎟ ⎟ ⎟ C rr ⎠定理4.2.2唯一性证明定理4.2.2: ∀A∈Crm×r都可唯一地分解为A=UR,其中 U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有 R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:∀A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学 章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) − 2 ⎞ 1 ⎛ 1 ⎞ 其中 ⎛ − 3 ⎜ ⎟ ⎜ ⎟⎜ 1 A = ⎜ 1 ⎜ ⎜ 2 ⎝ 1 1 − 1 − 1 0 1 ⎟ ⎜ 0 ⎟, b = ⎜ 2 ⎟ ⎜ ⎟ ⎜ 1 ⎠ ⎝ ⎟ ⎟. ⎟ ⎟ ⎠§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ∀A∈Cm×n,AA*∈Cm×m 与 A*A∈Cn×n 均为 半正定Hermite矩阵. 证:由(A*A)*=A*A 和 ∀x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是 R=U*A,代入(*)式得 URx=b ⇒ Rx=U*b ⇒ x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ∀A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特 征值(正特征值)全同. 证法1:不难验证下列矩阵等式:⎛ AA* 0 ⎞⎛ Em A ⎞ ⎛ AA* ⎜ * ⎟⎜ ⎟=⎜ ⎜ A 0 ⎟⎜ En ⎟ ⎜ A* ⎠ ⎝ ⎝ ⎠⎝⎜ 因S= ⎜ ⎝ ⎛ Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则 A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证： A*A的任一非零特征值也是AA*的非零特征值.AA* A⎞ ⎛ Em A ⎞⎛ 0 ⎟=⎜ ⎟⎜ En ⎟⎜ A* A* A ⎟ ⎜ ⎠⎝ ⎠ ⎝0 ⎞ ⎟ A* A⎟ ⎠0 ⎞ −1 0 ⎞ ⎛ AA * 0 ⎞ A⎞ ⎛ 0 ⎛ 0 ⎟ = S⎜ * ⎜ ⎜ ⎟S ~ ⎜ * ⎜ ⎟ ⎟ * ⎟ * ⎟ En ⎟ 可逆,故 ⎜ A* 0 ⎟ ⎝ A A A⎠ ⎝ A A A⎠ ⎠ ⎠ ⎝ *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:∀A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征 值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为 α1,…,αr). 例:求A= ⎜ − 1 ⎜⎜ 0 ⎝ ⎛ 1 0⎞ ⎟ 1⎟∈ C 0⎟ ⎠3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使 A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而 AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=⎜ −1 ⎜⎝⎛2−1⎞ ⎟ 1⎟ ⎠,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学 章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ∀A∈Cm×n,ARA：A=EmAEn (ARB⇒BRA)： A=UBV⇒B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC⇒ARC)：A=UBV & B=U′CV′⇒A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ∀A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ )奇异值分解定理1定理4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ⎜ 0 ⎜⎛ ∆ 0⎞ ⎟ =D∈C m×n r 0⎟ ⎝ ⎠(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m使⎛ ∆2 0⎞ ⎟ 0⎟ ⎝ ⎠ 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ⎜ 0 ⎜对角阵 次酉阵奇异值分解定理1续⎛ ∆2 ⎜ ⎝ 0 ⎛ U1* ⎞ ⎛ U1* AA *U1 U1* AA *U 2 ⎞ 0 ⎞ ⎛ U1* ⎞ ⎟ ⎟ = ⎜ * ⎟ AA *(U1 , U 2 ) = ⎜ * ⎟ ( AA *U1 , AA *U 2 ) = ⎜ * * U2 ⎠ 0 ⎠ ⎝U 2 ⎠ ⎝ ⎝ U 2 AA *U1 U 2 AA *U 2 ⎠奇异值分解定理1续令 V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=∆-1U1*AV2 ⇒ U1*AV2=0 综合以上得⎛ U * AV U 1* AV2 ⎞ ⎛U * ⎞ ⎟ U * AV = ⎜ 1* ⎟ A(V1 , V2 ) = ⎜ 1* 1 ⎜ U AV U * AV ⎟ ⎜U ⎟ 2 2⎠ ⎝ 2 1 ⎝ 2⎠ ⎛ U * AA * U 1∆−1 =⎜ 1 ⎜ 0 ⎝ 0 ⎞ ⎛ ∆2 ∆−1 ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ 0⎞ ⎛ ∆ 0⎞ ⎟=⎜ ⎟ 0⎟ ⎜ 0 0⎟ ⎠ ⎠ ⎝比较(1,1)块得 ∆2=U1*AA*U1 比较(2,2)块得 0=U2*AA*U2=(U2*A)(U2*A)* ⇒ U2*A=0. ( ∀M∈Cm×n,MM*=0 ⇒ 0=tr(MM*)=Σ2 i,j|mij|⇒ ∀i,j,mij=0 ⇒ M=0 ) 令 V1=A*U1∆-1∈Cn×r 则 V1*V1=∆-1U1*AA*U1∆-1=∆-1∆2∆-1=E ⇒ V1∈Urn×r奇异值分解定理2定理4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使 A=U1ΔV1 . 证:由定理4.3.3直接推出⎛∆ A = U ⎜ ⎜ 0 ⎝ 0 0 ⎞ ⎟V ⎟ ⎠*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi为AA*的特征值. 令 U=(u1,…,um), 则 (AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ⇒ ∀i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ⇒ ∀i,A*Avi=λivi= (U 1 , U2⎛∆ )⎜ ⎜ 0 ⎝0 0⎞ ⎛ V 1* ⎟⎜ * ⎟⎜ V ⎠⎝ 2⎞ ⎟ ⎟ ⎠⎛V * ⎞ = (U 1∆ , 0 )⎜ 1* ⎟ = U 1∆ V1* ⎜V ⎟ ⎝ 2⎠安徽大学 章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=⎛1 ⎜ ⎜0 ⎜0 ⎝ 2⎞ ⎟ 0⎟ 0⎟ ⎠奇异值分解例2例:求 A= 解: AA* =⎛1 ⎜ ⎜2 ⎝ 0 0 0⎞ ⎟ 0⎟ ⎠的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1∆-1= ⎜ ⎜⎛1 ⎝2 0 0 ⎛1⎞ 0 ⎞⎜ ⎟ ⎟⎜ 0 ⎟ ⎟ 0 ⎠⎜ ⎟ ⎝0⎠⎛1 ⎜ ⎜2 ⎝2⎞ * ⎟ 4 ⎟ ,σ(AA )={5,0},r=1,Δ=(√5). ⎠U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1∆-1 = ⎜ 0⎜0 ⎝ ⎛1 ⎜ 2⎞ ⎟⎛ 0 ⎟⎜ ⎜ 0 ⎟⎝ ⎠1 5 2 5( )=1 51 5⎛1⎞ ⎜ ⎟ ⎜ 2⎟ ⎝ ⎠, V=1 5⎛1 ⎜ ⎜2 ⎝− 2⎞ ⎟ 1 ⎟ ⎠⎞ ⎟ ⎟ ⎠( )=1 51 5⎛1 ⎜ ⎜0 ⎜0 ⎝2⎞ ⎛1⎞ ⎟⎛ 1 ⎞ ⎜ ⎟ 0 ⎟⎜ ⎟ = ⎜ 0 ⎟ ⎜2⎟ 0 ⎟⎝ ⎠ ⎜ 0 ⎟ ⎠ ⎝ ⎠所以A的奇异值分解式是 A=UDV*= ⎜ 0 ⎜⎝0 ⎛1 ⎜ 0 1 0 0⎞⎛ 5 ⎜ 0⎟⎜ 0 ⎟ 1⎟⎜ 0 ⎠⎝ 0⎞ ⎟⎛ 0⎟⎜ 0⎟⎝ ⎠1 5 −2 5 1 2 5⎛1⎞ ⎞ ⎜ ⎟ ⎟ = ⎜0⎟ 5 ⎠ ⎜0⎟ ⎝ ⎠( 5 )(1 52 5)=U1∆ V 1*所以A的奇异值分解式是 ⎛ 15 * = ⎜ A = U1ΔV1 ⎜ 2 ⎝ 5⎞ ⎟( ⎟ ⎠5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果 U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式 a=ρeiθ 有 A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite矩阵,U=(eiθ)是酉矩阵. 下面的定理证明： 矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ∀A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这 样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则 U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ⇒ H1唯一. )非满秩方阵的极分解定理4.4.2: ∀A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定 Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或 A=UH2 (即H2=√(A*A)). 证:存在性 由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求 A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性 若A=H1U,则AA*=H12 ⇒H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1矩阵极分解的一个经典应用定理4.4.3: ∀A∈Cn×n 为正规矩阵当且仅当存在 U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使 A=HU=U′H. 证:必要性 设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此 H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性 设A=HU=U′H. 则 AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学 章权兵7。

第四章 矩阵的分解将矩阵分解为具有某种特性的因子之积，从以我们所熟悉的Gauss 消去法为依据而导出的LU 分解，到上个世纪60、70年代以Givens 和Householder 变换发展起来的QR 分解，在矩阵理论的研究与应用中都具有十分重要的意义。

这些特殊的分解式一方面反映了原矩阵的某些数值特征，另一方面，分解的方法与过程也为某些数值计算方法和理论分析提供了有效的工具。

§4.1n 阶矩阵的三角分解和LU 分解在线性代数中我们已经学过应用Gauss 消去法求解n 元线性方程组b Ax =， 其中：()nn ija A ⨯=，()Tn x x x x ,,,21 =，()Tn b b b b ,,,21 =。

Gauss 消去法的基本思路是将系数矩阵化为上三角形矩阵，或将增广矩阵化为上阶梯形矩阵，而后回代求解。

现在应用所谓选主元素法来实施Gauss 消去法的消去过程，至于回代过程我们不做讨论。

设()A A =0，记A 的k 阶顺序主子式为k ∆()n k ,,2,1 =。

如果()00111≠=∆a ，令()()011011a a c i i = ()n i ,,3,2 =，构造Frobenius 矩阵：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=11121211 n n c c c L ，⎪⎪⎪⎪⎪⎭⎫⎝⎛---=-111212111 n n c c c L则()()()()()()()()()1002020220101201101100A a a a a a a a AL nn n n n =⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=- （4.1.1） 因此，在()0A的第一列中除主元素()011a 外，其余元素均被化为零。

式（4.1.1）即为()()110A L A =，由于倍加变换不改变矩阵行列式的值，所以由()1A 得到A 的二阶顺序主子式为()()1220112a a =∆。

如果()()01220112≠=∆a a ，则必有()0122≠a 。