均值方差为n2的独立同分布高斯白噪声。
RX=BS(S+n2I)BSH+n2BNBNH=ARSAH+n2I RXBN=n2BN=ARSAHBN+n2BNARSAHBN=O AHBN=O
即 BNHA=O，也即BNHa()=0， =k, k=1,…,r
于是有基于噪声子空间的功率谱估计P()=1/||BNHa()||2 ， 所有的。其r个峰值给出了r个复正弦频率。
1.正交投影原理 令M是向量空间H的子空间，如果对于H中的 向量 x，在M中有一向量x，使得x-x正交于M中的所有向量y， 即(x-x,y)=0，则||x-x||||x-y||对于所有向量yM都成立，并且 等号仅当y= x时成立。
证：||x-y||2=||x-x+x-y||2=||x-x||2+2(x-x, x-y)+||x-y||2，故(x-x, x-y)=0 使得||x-x||2||x-x||2+||x-y||2=||x-y||2并且等号仅当 y=x 时成立。
矩阵X=信号矩阵S+噪声矩阵N =(x1,…,xn)，观测空间 Span(X)=Span{x1,…,xn} 2.信号子空间和噪声子空间解：RX=E(XTX)=RS+RN，其中
假设噪声独立同 分布使得RN=E(NTN)=n2I和 RS=E(STS) 秩r使得RS=USSUSTRX=USSUST+ n2I =US(S +n2I)UST =UXXUXT UX = US和X=S +n2I,令
1. 定义 将任意xCn变为沿着M到L的投影的变换称为 沿着M到L的投影算子，记为PL,M，即 PL,M x=y。
❖ 显然， R(PL,M)=L， N(PL,M)=M． ❖ 投影算子PL,M是一个线性算子。
2.定义 投影算子PL,M在Cn的基e1,…,en下的矩阵称为投 影矩阵．记为PL,M。
3.幂等矩阵：A2=A
由于BN BNT =I-BSBSH，其中RX-n2I=BSSBSH，于是有基于信 号子空间的功率谱估计P()=1/(a()H(I-BSBSH)a())。
用哪个取决于哪个子空间有较小的维数。
§6.2 广义逆矩阵定义及其性质
❖ 定义：设矩阵ACmn，若矩阵XCnm满足如下 四个方程 1. AXA=A 2. XAX=X 3. (AX)H=AX 4. (XA)H=XA 中的一个或几个，则称为矩阵A的广义逆；若四 个方程全部满足，则称为矩阵A的Moore-Penrose 逆，记为A+。
5.子空间分析法应用例：现代谱估计的MUSIC算法。设信号
向量是r个不相干的复正弦的叠加，即 r x(t) sk (t)a(k ) As(t) n(t)
其中A=[a(1),…,ak(1r)] ， a(k)=[1,…,exp(j(n-1))]T为频率
分量向量，s(t)=[s1(t),…,sr(t)]T为随机信号向量，具有零均 值其协方差阵为RS=E(s(t)s(t)H)， n(t)=[n1(t),…,nn(t)]T为零
2
例2 ：设 求A+。
A
1 2
1 2
解： （方法一）由满秩分解公式可得
A
BC
1 2
1
1
于是其伪逆矩阵为
A C H (CC H )1(BH B)1 BH
11(1
111)1(1
212) 1 1
2
1 10
111
2
1 10
1 1
2 2
（方法二）先求A的奇异值分解：
AAH
2 4
1
4
8
5 2
5
2
引理 设ACn×n是幂等矩阵，则 N(A)=R(I-A)。
证：A2=A A(I-A)=O 对任意 xR(I-A)即x=(I-A)y，yCn， 必有Ax=0。故
R(I-A)N(A) dim R(I-A) dim N(A) = n-dim R(A) 即 rank(I-A) n-rankA。考虑到
A
1 2
0 0
1 2
解： （方法一）利用满秩分解公式可得
A BC 211 0 1
从而 A 的伪逆矩阵是
A C H (CC H )1(BH B)1 BH
1
1
0
(1
1
0
1 0 )1(1
1
221)11
2
1
1 2
1 10
0
1
2
1 10
0
0
1
1 2
（方法二）先求A的奇异值分解：
AAH
2 4
二、正交投影算子与正交投影矩阵
1.定义：设L是Cn的子空间，则称沿着L到L的投影算子 PL,L为正交投影算子，简记为PL；正交投影算子在Cn 的基e1,…,en下的矩阵称为正交投影矩阵，记为PL ．
2. 定理 矩阵P为正交投影矩阵的充要条件是P为幂等 Hermite矩阵．
证：若P=PL是正交投影矩陈, 由前述定理知，它是幂等矩阵。把 任意xCn分解为x=y+z，yL，zL，则PLx=yL，(I-PL)x = z
第六章
广义逆矩阵
知识要点
❖ 投影矩阵 ❖ 广义逆矩阵 ❖ 相容方程组的最小范数解 ❖ 矛盾方程组的最小二乘解 ❖ 矛盾方程组的最小范数最小二乘解 ❖ 总体最小二乘技术
§6.1投影矩阵
一、投影算子与投影矩阵
设L和M都是Cn的子空间，且LM=Cn ．于是任意 xCn都可唯一分解为x=y+z，yL，zM，称y是x沿 着M到L的投影．
<Px,(I-P)y>=xHPH(I-P)y=xHP(I-P)y=xH(P-P2)y=0
即得：R(P)N(P)。因此P为正交投影矩阵。
3. 正交投影矩阵PL的构造方法
设 dimL=r ， 则 dimL=n-r 。 在 子 空 间 L 和 L 中 分 别 取 基 底
X=(x1,…,xr)和Y=(y1,…,yn-r) 满足 XHY=Or(n--r)，于是
定理二：设矩阵A给定，则A+满足如下性质
1. rank A+=rank A 2. (A+)+=A 3. (AH)+=(A+)H, (AT)+=(A+)T 4. (AHA)+=A+(AH)+, (AAH)+=(AH)+A+ 5. A+=(AHA)+AH=AH(AAH)+ 6. R(A+)=R(AH), N(A+)=N(AH) 推论：若ACnmn ，则A+=(AHA)-1AH
2.x=PMx为x在M的投影，x-PMx为x在M的投影。 3.W-H方程：使用线性滤波d=(h,x)从观测随机向量x估计希望
信号d，则由(d-(h,x), x)=0有W-H方程rdx=Rxxh，其中互相关 向量rdx= (d,x)=E(d,x)，自相关矩阵Rxx=E(xxT) 。
四.子空间分析
1.观测空间：观测x=信号s+噪声n，其中s与n不相关，观测
L使得PLx正交于(I-PL)x，即xHPLH(I-PL)x=0，x的任意性使得
PLH(I-PL)= O，即
PLH=PLHPLPLH=PLHPL=(PLHPL)H =(PLH)H=PL 即PH=P， P为幂等Hermite矩阵。 反之，设P为幂等Hermite矩阵，由幂等性知
P=PR(P)Leabharlann BaiduN(P)，N(P)=R(I-P) 对任意 Px与(I-P)y，有
故P为幂等矩阵。反之，设P为幂等矩阵，则：对任意xCn 有 x=x-Px+Px=(I-P)x+Px ， 其 中 (I-P)xN(P) ， PxR(P) ， 使得Cn=N(P)+R(P)。设zN(P)R(P)，由于N(P)=R(I-P) 故 存在u，v Cn 使得 z=Pu=P2u=P(I-P)v z=Pu=(I-P)v=0
于(X,Y)为Cn的一个基底，故[X,Y]可逆，于是得 PL,M=[X,O][X,Y]-1
例：设L是由向量[1,0]T张成的子空间，M是由向量[1,－1]T张 成的子空间，则可求得平面上沿着M 到L的投影矩阵为
1 0 1
1
1
PL,M=0 0 0 1
1 0 1 1 1 1 0 0 0 1 0 0
5 1
10
0
5
1
0
0
5 2
5
2
5 1
5
令：
V1
1 1 10 5
2 1 5 2
1 2
1 2
1 2
1
A
5 2
10
1 2
1 2
5 1
A
2 1
1 1 10 5
2
2 5
1 10
1 1
2 2
计算A+的迭代法（Greville法）
1
4
8
5 2
5
2
5 1
10
0
5
1
0
0
5 2
5
2
5 1
5
令： V1
1 1 10 5
2 1 5 2
0 0
1 2
1 2
0
1 2
1
A
5 2
10
1 2
0
1 2
5
A
1
2 0 1
1 1 10 5
2
1 2
2 5
1 10
0 1
0
❖ 定理一：矩阵ACmn的广义逆A+存在且唯一。
证明：先证存在性。设矩阵A的满秩分解为 A=BC，定义
A+=CH(CCH)-1(BHB)-1BH 则A+满足定义中的四个方程。下面证唯一性。 设矩阵X与Y都满足四个方程，则
X=XAX=X(AX)H=XXHAH=XXHAHYHAH=X(AX)H(AY)H =X(AXA)Y=XAY
故 N(P)R(P) = {0}。这样 Cn = N(P)R(P)，这意味着对任意 xCn，Px是x沿着N(P)到R(P)的投影，故而P=PR(P), N(P)
5. 投影矩阵PL,M的构造方法
设 dimL=r，则 dimM=n-r，在子空间L和M中分别取基底 X=(x1,…,xr) 和 Y=(y1,…,yn-r)，于是有PL,M[X,Y]=[X,O]。由
即 A=(XHX)-1XH ，同理可得 B=(YHY)-1YH
例：设L是由向量[1,2,0]T和[0,1,1]T张成的子空间，则 可求得正交投影矩阵为
1 0
X 2
0
1 1
XH
X
5 2
2 2
,
XHX
1 1 2 6 2
2
5
2 2 2
PL X
XHX
1
XH
1 6
2
5
1
2 1 5
三、正交投影原理及其应用
Y=YAY=(YA)HY=AHYHY=AHXHAHYHY=(XA)H(YA)HY =XAYAY=XAY
所以X=Y。(证完)
若矩阵A是满秩方阵，则A+=A-1. 一般研究满足定义中四个方程中部分或全部构成的广义
逆，如满足{1}，{1,2}，{1,3}，{1,4}，{1,2,3,4}，分别记为 A{1}，A{1,2}，A{1,3}，A{1,4}，A{1,2,3,4}，自然A+= A{1,2,3,4} 。 A+是最常用的广义逆。一般记：A- =A{1}。
I=A+(I-A) n rankA+rank(I-A)
有rank(I-A)=n-rankA，使得dimR(I-A)=n-dimR(A)=dimN(A)，即
得N(A)=R(I-A)。
4.定理：P为投影矩阵的充要条件是P为幂等矩阵
证：设P=PL,M为投影矩阵，则对任意xCn有 P2L,M x = PL,M (PL,M x) = PL,M y = y = PL,M x
PL
[ X ,O][X ,Y ]1
( X H X )1 X H
[X ,O]
(Y
HY )1Y
H
X ( X H X )1 X H
说明：令
[
X
,Y
]1
A B
，则有
I [X ,Y ][X ,Y ]1 [X ,Y ]BA XA YB 两边左乘 XH 得 X H X H XA X HYB ( X H X ) A
若ACmmn ，则A+=AH(AAH)-1 矩阵A广义逆A+的等价定义: AA+=PR(A), A+A=PR(A+)。 即 AA+=PR(A), A+A分别为R(A)和R(A+)上的正交矩阵。更有：
AA{1}、A{1}A、AA{2}、A{2}A 均为幂等矩阵
§6.3 广义逆矩阵A+的计算方法
❖ 满秩分解：设ACrmn，A=BC为满秩分解，即BCrmr， CCrrn，则 A+=CH(CCH)-1 (BHB)-1BH
UX=[u1,…,un]，BS=[u1,…,ur]， BN=[ur+1,…,un]，则 称 Span(BS)和Span(BN)分别为信号子空间和噪声子空间。
3. {s1+n2,…,sr+n2}为主特征值， n2为次特征值
4. 信 号 子 空 间 投 影 矩 阵 PS=BSBST ， 噪 声 子 空 间 投 影 矩 阵 PN=BN BNT =I-PS=PS为信号子空间正交投影矩阵。
❖ 奇异值分解：设ACrmn，其奇异值分解 A=VrΔUrH ， Δ=diag(σ1, σ2, ⋯, σr)，则 A+= UrΔ-1VrH
特别，若A为实对称矩阵，则有分解式 A=UrΔUrT ，Δ=diag(σ1, σ2, ⋯, σr)， σi为矩阵A的非零特征值，且 A+= UrΔ-1UrT
例1 ：设 求A+。
