整体最小二乘估计的深入研究
摘要: 整体最小二乘法是一种较为先进的最小二乘法结构，整体最小二乘法认为回归矩阵存在干扰，在计算最小二乘解时考虑了这个因素，而在一般最小二乘法时没有考虑该因素的影响。整体最小二乘法应用广泛，得到效果也比较好。本文主要讨论了整体最小二乘法的基本原理，给出了整体最小二乘的单位权中误差计算公式以及待估参数的近似精度评定公式。
一、整体最小二乘的基本原理
最小二乘法经历了百余年的发展考验，已经成为许多领域数据处理广泛应用的方法。测量数据的处理方法，通常是指按最小二乘法进行测量平差，它是测量数据处理中最基本、最广泛的应用方法，尤其是近几十年来得到了充分的发展和应用。最小二乘平差的基本思想是在最小二乘准则下进行测量数据的调整。 测量平差模型均可归结线性方程组 AX = L + ∆的求解问题。最小二乘准则要求残差的范数平方和极小，它主要是针对观测值中的偶然误差的。然而，实际问题中参数估计中的观测值和系数阵都可能存在误差，针对这种更复杂的情况，20 世纪 80提出了整体最小二乘法。
先介绍整体最小二乘的基本思想：对于线性方程组 Ax = L ，普通最小二乘的基本思想是在残差平方和极小的准则约束下求解最佳参数。这里有一个前提，系数矩阵 A 是没有误差的精确值，但是多数情况系数阵 A 和观测向量 L 同时存在误差，若同时考虑二者的误差，此时，线性方程组可表示为
( A +E A ) x = L +E L
其中
A ∈ R ， L ∈R m ， x ∈R n ， rank (A ) = n , rank (A ) = n < m ；； m 为观测值个数， n 为待估参数个数，E A 为系数阵的噪声， E L 为观测噪声，误差矩阵[E A E L ] 属于相互独立的白噪声误差。这一模型称为 EIV （ Errors-in-Variables ）模型。解决这类问题的适宜方法是整体最小二乘法（ Total Least Squares, TLS ）。对于线性方程组 Ax = L ，整体最小二乘问题就是在以下准则约束下
min [A
̂;L ̂]∈R m×(n−1)||[A L ]−[A ̂ L ̂]||F L
̂∈ R(Aˆ ) 寻求 A
̂ 、L ̂，任何满足
A
̂x =L ̂ 的 x ̂均称为线性方程 A x = L 的整体最小二乘解。
[E A −E L ]=[ A L ]−[A
̂ L ̂] 为相应整体最小二乘改正数。式中， ||M F ||为 Frobenius 范数，简称为 F 范数。
整体最小二乘的求解是通过奇异值分解来实现的。将线性 Ax = L 改写为 [A L ][x T −1]T =0
记增广矩阵 C = [A L ] ，对增广矩阵 C 进行奇异值分解
C =U ∑V T
其中
∑ = diag(σ1,σ2,…σn ,σn+1)
σ1≥σ2≥⋯≥σn ≥σn+1≥0
则整体最小二乘解可由增广矩阵右奇异向量的最后一列Vn +1 得到，即整体最小二乘解为
x ̂=−1
V n+1,n+1[V 1,n+1…V n,n+1]
当 A 为列满秩时，整体最小二乘还有另一种解的形式
X tls = (A T A −σn+12I n )−1A T L
整体最小二乘的基本思想是同时考虑设计矩阵和观测向量的误差，而在许多情况下，设计矩阵的某一列或某几列是常数，如在直线拟合、曲面拟合、 GPS 非差定位等模型中都存在这种情况。因此，在这种情况下对 A 的不同列就应区别对待，与此相应的参数可分别采用最小二乘法和整体最小二乘法求解，简称为混合最小二乘
将线性方程 Ax = L 表示为
[A1 A2][x1x2
]=L 其中
m 为观测值个数，n 为待估参数个数，n 1 、 n 2 分别为 A 1 、A 2 对应的参数个数， A 1 的元素为常数。和整体最小二乘相比混合最小二乘问题就是
min [A
̂2;L ̂]∈R m×(n2+1)||[A2 L ]−[A ̂2 L ̂]||F
̂ L],任何满足
准则下，寻求[A2
Âx ̂=A1 x1̂+A2̂ x2̂= L̂
的x̂=[x̂1T x̂2T]T均称为混合最小二乘解。[E A2 E L]=[ A2 L]−[A2̂ L̂]为相应的混合最小二乘改正量。
混合最小二乘解的求解基本思路是首先采用QR 分解法，或者约化的方法将系数矩阵分为常数部分和非常数部分，后者采用整体最小二乘法求解，后者采用普通最小二乘法求解。
二、整体最小二乘求解附有限制条件的间接平差模型
依据整体最小二乘原理的附有限制条件的间接平差的误差方程为
l+ V =( B + VB) x̂
Cx̂－ W = 0
式中，l 为n × 1 的观测值向量; V 为n × 1 的观测误差向量; B 为n × m 的系数矩阵; VB 为n ×m 的系数误差矩阵; x^ 为m ×1 的待估参数向量; C 为c × m 的限制系数矩阵; W 为 c × 1 的向量，满足m ＞c。该问题依然可以用拉格朗日原理进行求解，根据整体最小二乘原理，建立拉格朗日目标函数如下
Φ = V b T V b + V T V + 2λT( l － Bx̂ + V － V B x̂) －2μT ( W － Cx̂)
根据拉格朗日函数的必要条件，分别对V、Vb、λ、μ、x^ 求导，经过转换可得
V+λ=0
V B－ λx̂T= 0
l － Bx̂ + V － V B x̂= 0
－ W + Cx̂= 0
B Tλ + V B Tλ －
C Tμ= 0
再由上式可得
l － Bx̂=－ V + V B x̂= λ(1 + x̂T x̂)
