4 不良数据的检测和辩识

1

概述
残差方程
检测方法
辨识方法
残差方程
r v H ( x) H
T
I H ( x) H


ˆR x
T
1
T 1 ˆ H ( x) H x R v 1
1
ˆR x
1
T 1 ˆ H ( x) H x R v

因为估计值和真值十分接近，上式的量测雅克 比矩阵都可以在估计值处取值，即：
v T Av vi2 Aii Aij vi v j Jx
i 1 i 1 j 1 m m m

j i
概述
残差方程
检测方法 1
辨识方法
目标函数的分布特性
的数学期望值: EJ x ˆ Jx
m 2 i m
Aii E vi2 Aij Evi v j
T j j 1 2
自由度为k的 分布
常数项
正态分布

一般坏数据幅值比正常量测误差的标准差大许 多倍，所以这第三项的值会十分大。 因此，考察估计后目标函数的值就能确定量测 中是否存在坏数据。
概述
残差方程
检测方法 1
辨识方法
实用方法

考察目标函数是否超过某一事先确定的门槛值， 以确定是否存在不良数据。

能检测吗？

不良数据可检测

有没有？

不良数据可辨识

哪个是？
量测冗余度越大 坏数据的可检测和可辨识性越好。
概述
残差方程
检测方法
辨识方法
根据误差来判断

误差

量测值和真值之间的差 v z h( x)
真值
最直接的方法


如果我们能够知道系统的真值x，则量测误差很容 易计算出来，我们就可以把误差大于3σ的量测挑选 出来。 看起来好像不良数据的检测与辨识很容易。 实际上，真实的系统状态是无法知道的，真实的量 测误差也是一个未知数。
x H
T
ˆR x
T
1
T 1 ˆ H ( x) H x R v
1
1
r v H ( x) H
I H ( x) H

T 1 ˆ ˆ x R H ( x ) H x R v 1 T
ˆR x
1
T 1 ˆ H ( x) H x R v
m i 1
i2
0
j i
ˆ E J x Aii Aii Ri m n k
i 1 i 1
k是冗余量测数
是自由度为k的 2 分布 Jx
方差:

E J x k 2k Var J x
2
由概率论可知，随着自由度k的增大，χ2(k)越 来越逼近于正态分布；当k≥30时，可以用相应 的正态分布来代替χ2(k)分布。
r Wv W I H H R H H T R 1
T 1 1
残差方程
残差灵敏度矩阵
概述
残差方程
检测方法
辨识方法
残差灵敏度矩阵的性质
r Wv
1 T 1 T 1 W I H H R H H R



（1）W是奇异矩阵，其秩k=m-n； （2）W是等幂矩阵：WW=W； （3）WR-1W=R-1W； （4）WRWT=WR=RWT； （5）0<Wij<1。
2

dt


标准正态分布 1, 0 对于任意的正态分布随机变量 P{| X | } 0.6827 正态分布随机变量落在μ ± 3σ区 P{| X | 2 } 0.9545 间内的概率几乎等于１。 P{| X | 3 } 0.9973
1

理解：对每个量测量对应的加权残差 rwi
ri


rw Wwvw
1 T 1 Ww I R H H R H H T R 1 1
概述
残差方程
检测方法
辨识方法
标准化残差


通过残差方程，可以得到残差的方差阵 Var r E rr T WRW T WR 定义矩阵D D diag WR 定义标准化残差 rN D1 r 定义标准化残差灵敏度矩阵 WN D1W 标准化残差方程为： rN WN υ 是加权残差的一种，在国外早期的文献中，标准化残 差对检测和辨识单个不良数据有重要的作用。
概述
残差方程
检测方法
辨识方法
误差的性质

假设误差具有正态分布的性质
i Zi hi ( x)
E i 0 i 1,..., m D( i ) i2

μ是Z的真值(测量很多次的均值)
Z ~ N (, )
2
3

3
概述
残差方程
检测方法
辨识方法
坏数据定义
概述
残差方程
检测方法
辨识方法
检测和辨识

人们在状态估计之前会对量测数据进行处理，处理分 析根据对不良数据处理水平不同分为三个层次：

人工检测和辨识 量测极限值检测



量测量突变检查 量测数据的相关性检查 计算机实时检测和辨识(数据的预处理) 只能发现明显 利用远动功能实现 的不良数据 粗检测和辨识 状态估计程序中的检测和辨识 通过大量正常的冗余量测，利用数学处理的方法处理不 良数据
量测坏数据的检测与辨识

内含量测预处理、拓扑错误辨识、遥测坏数据 的检测和辨识

量测预处理：去掉明显的坏数据 拓扑错误辨识：找出开关、刀闸的状态错误 遥测坏数据的检测和辨识

采用估计--检测和辨识--再估计--再检测和辨识 的迭代模式
概述
残差方程
检测方法
辨识方法
坏数据的可检测和可辨识性

可观测(估计)性
概述
残差方程
检测方法 1
辨识方法
不良数据的检测-J检测法


利用估计后的目标函数进行坏数据检测的方法 ˆ 检测： 简称为 J x m T 1 T 1 2 ˆ ˆ ˆ Jx z h x R z h x r R r r wj j 1 将残差方程r=Wv代入上式： 2 T T 1 T 1 ˆ J x 是 分布 v W R Wv v R Wv J x 定义A=R-1W

辨识的常用方法



概述
残差方程
检测方法
辨识方法
不良数据监测与辨识的数学基础
1 e 正态分布 f ( x) 2 概率密度 E(x)= D( x)= 2
x
( x )2 2 2
1 分布函数 F ( x) 2 e


( t )2 2
v z h( x )
概述
残差方程
检测方法
辨识方法
残差和误差的关系
ˆ ) v H ( x)x r z h( x


ˆ R1 z h x ˆ 0 最小二乘的基本原理 H T x ˆ R1 v H ( x)x 0 得到： H T x

概述
残差方程
检测方法 1
辨识方法
不良数据的检测

当量测中存在不良数据时，量测误差矢量中某 些分量将有个别分量的值明显变大。 由残差方程可见，量测残差也会明显变大。 由目标函数的公式可知，目标函数的数值也会 变大。 三种检测方法

目标函数值检测法 加权残差检测法 标准化残差检测法

可能吗？

概述
残差方程
检测方法
辨识方法
残差

残差

量测值和量测估计值之间的差 r z h( x ˆ)
估计值

残差和误差的关系


ˆx 将量测估计在真值x附近Taylor级数展开 x x ˆ ) h( x) H ( x)x h( x 代入残差表达式：

r z h( x ) H ( x)x v H ( x )x 得到： ˆ ) v H ( x)x r z h( x
当被研究的随机变量是 数量众多的相互独立的 随机变量之和，则他必 定服从正态分布或近似 正态分布的。
概述
残差方程
检测方法
辨识方法
实时数据的误差



量测值和真值总是存在差异，即误差 从采样到计算机数据库的全过程，每个环节都 可能受到各种随机干扰而产生误差 误差来源：

各环节的随机干扰 量测的不同时性，死区传送，CDT不同时
概述
残差方程
检测方法
辨识方法
残差方程的作用

来自百度文库
描述了残差和量测误差之间的线性关系
ri Wij v j Wi1 v1 Wi 2 v2 Wim vm
j 1 m

W矩阵的元素就是相应的比例系数 量测i的残差ri和所有量测误差有关
如果W有逆，我们就 可以用残差矢量r计算 出量测误差，把大于 3σ的找出来。

W对角占优吗？


W既不可逆，也不对角占优，是引起不良数据 检测与辨识困难的根本原因。
概述
残差方程
检测方法
辨识方法
加权残差


为了便于进一步简化计算公式和分析，进入残 差方程的加权形式。 1 r R r 定义加权残差：w
i 定义加权量测误差：υw R υ i 理解：对每个量测量对应的加权误差 wi i 残差方程改写：
不良数据辩识
刘崇茹，博士
不良数据辨识




概述 残差方程 不良数据检测 不良数据辨识
概述
残差方程
检测方法
辨识方法
概述


量侧数据在采集、传递、交换的整个过程中，不可能 保证所有的数据都是准确无误的，有可能出现因设备 原因或者网络原因造成数据的损坏或者偏差。 几个定义



不良数据的检测（Bad Data Detection） 判断某次量测采样中是否存在不良数据 不良数据的辨识（Bad Data Identification） 发现某次量测采样中存在不良数据后，确定哪个(或哪些)量 测是不良数据 不良数据的删除（Bad Data Suppression） 对辨识出的坏数据，用某种方法排除它们对状态估计结果的 影响
J J
J J
有BD J J 无BD，属真
有BD，属真 称为漏检，或取伪错误
称为误检，或弃真错误。
无BD J J
这种方法的漏检率与门槛值的大小有关
概述
残差方程
检测方法 1
辨识方法
J检测评价

J检测属总体检测，所有量测误差都会对J有贡 献，并产生影响。


有时并没有坏数据，许多量测的误差虽然没有超过 3σ，但也会造成J较大。 有时有一两个不良数据，但由于量测冗余度高，正 常时J值就已经很大，一两个坏数据并不足以使J值 发生明显变化。

由正态分布的特性可知
P(| Z | ) 68.3% P(| Z | 2 ) 95.5% P(| Z | 3 ) 99.7%

只有0.3%的可能性使得Z-μ落在3σ范围之外

定义：误差大于3σ的量测数据叫坏数据，或不 良数据。
概述
残差方程
检测方法
辨识方法
ˆ ~ N k , 2k 或 J x
ˆ k J x 2k ~ N 0,1
概述
残差方程
检测方法 1
辨识方法
3σ准则
ˆ ~ N k , 2k 或 J x

ˆ k J x 2k
~ N 0,1
根据3σ准则，即某正态随机变量的误差将以 99.75%的概率落在3σ区间之内，即：
ˆ k J x 2k 3 ˆ 3 2k k J x
上面公式应以99.75%的概率得到满足
概述
残差方程
检测方法 1
辨识方法
坏数据检测性质


如果有一个坏数据发生在量测j上 v v j e j 计算新的目标函数
j ˆ) J ( x ˆ ) 2 e R Wv w jj J ( x j 2
r Wv W I H H R H H T R 1
T 1 1
真的可逆吗？
概述
残差方程
检测方法
辨识方法
残差矩阵

W可逆吗？


是m×m阶的，但它的秩是m-n 不能通过对W求逆来求误差向量
如果对角占优则具有最大量测误差的量测所对应的 残差一般也大。 但是，当冗余量测较低时，W可能不满足对角占优 的条件，最大残差和最大量测误差并不一致。
不可靠 有局限性
概述
残差方程
检测方法
辨识方法
检测和辨识方法

检测的常用方法

使用目标函数极值进行检测； 用加权残差或标准化残差检测； 上述两种方法的综合使用； 量测量突变检测； 应用伪量测量的检测。
残差搜索法； 非二次准则法； 零残差法（它是非二次淮则法的一个发展）； 估计辨识法。