不良数据辨识

22/106
不良数据的检测-J检测法
2 i
0
Jx的数学期望值
m m 2 i
ˆ E J x Aii E vi2 Aij E vi v j i 1 j i
k 是冗余量测数
i 1
m


E J x Aii Aii Ri m n k ˆ
不良数据辨识
Bad Measurement Identification
华北电力大学电气学院 主讲人：陈艳波
1/106
不良数据辨识
概述 残差方程 不良数据检测 不良数据辨识
2/106
概述
量侧数据在采集、传递、交换的整个过程中，不可能 保证所有的数据都是准确无误的，有可能出现因设备 原因或者网络原因造成数据的损坏或者偏差。 几个定义
由残差方程可见，量测残差也会明显变大。
三种检测方法
目标函数值检测法 加权残差检测法 标准化残差检测法
由目标函数的公式可知，目标函数的数值也会变大。
21/106
不良数据的检测-J检测法
利用估计后的目标函数进行坏数据检测的方法简称 ˆ 为 J x 检测：
2 ˆ ˆ ˆ J x z h x R z h x r R r rwj T 1 T 1 j 1 m
1

因为估计值和真值十分接近，上式的量测雅克比矩 阵都可以在估计值处取值，即：
残差方程
r Wv
H T R 1H 1 H T R 1 W I H
残差灵敏度矩阵
15/106
残差灵敏度矩阵的性质
r Wv
H T R 1H 1 H T R 1 W I H
（1）W是奇异矩阵，其秩k=m-n； （2）W是等幂矩阵：WW=W；
对于任意的正态分布随机变量
P{| X | } 0.6827 P{| X | 2 } 0.9545 P{| X | 3 } 0.9973
当被研究的随机变量 是数量众多的相互独 立的随机变量之和， 则他必定服从正态分 布或近似正态分布的。
正态分布随机变量落在μ ± 3σ区 间内的概率几乎等于１。
检测和辨识方法
检测的常用方法
使用目标函数极值进行检测； 用加权残差或标准化残差检测； 上述两种方法的综合使用； 量测量突变检测； 应用伪量测量的检测。
辨识的常用方法
残差搜索法；
非二次准则法； 零残差法（它是非二次淮则法的一个发展）；
估计辨识法。
5/106
不良数据的检测（Bad Data Detection） 判断某次量测采样中是否存在不良数据 不良数据的辨识（Bad Data Identification）
发现某次量测采样中存在不良数据后，确定哪个(或哪些) 量 测是不良数据 不良数据的删除（Bad Data Suppression） 对辨识出的坏数据，用某种方法排除它们对状态估计结果的 3/106 影响
如果W有逆，我们就可以用 残差矢量r计算出量测误差， 把大于3σ的找出来。
r Wv W I H H R H H T R 1
T 1 1
17/106
残差方程的作用
W可逆吗？
是m×m阶的，但它的秩是m-n 不能通过对W求逆来求误差向量
W对角占优吗？
如果对角占优则具有最大量测误差的量测所对应的残差 一般也大。 但是，当冗余量测较低时，W可能不满足对角占优的条 件，最大残差和最大量测误差并不一致。
只有0.3%的可能性使得Z-μ落在3σ范围之外
定义：误差大于3σ的量测数据叫坏数据，或不良数 据（bad data， BD）。
9/106
量测坏数据的检测与辨识
内含量测预处理、拓扑错误辨识、遥测坏数据的检 测和辨识
量测预处理：去掉明显的坏数据 拓扑错误辨识：找出开关、刀闸的状态错误 遥测坏数据的检测和辨识
J J
无BD
J J
这种方法的漏检率与门槛值的大小有关
26/106
J检测评价
J检测属总体检测，所有量测误差都会对J有贡献， 并产生影响。
有时并没有坏数据，许多量测的误差虽然没有超过3σ， 但也会造成J较大。 有时有一两个不良数据，但由于量测冗余度高，正常时J 值就已经很大，一两个坏数据并不足以使J值发生明显变 化。
ˆ H ( x ) H T x R 1 v
14/106

残差方程
r v H ( x) H
T
I H ( x) H

ˆ x R
T
1
ˆ H ( x ) H T x R 1v
1
1
ˆ x R H ( x ) H T x R 1 v ˆ
ˆ J x k 2k
或
~ N 0,1
23/106
3σ准则
ˆ J x ~ N k , 2k
或
ˆ J x k 2k
~ N 0,1
根据3σ准则，即某正态随机变量的误差将以 99.75%的概率落在3σ区间之内，即：
ˆ J x k 2k 3 ˆ J x 3 2k k
6/106
实时数据的误差
量测值和真值总是存在差异，即误差 从采样到计算机数据库的全过程，每个环节都可能 受到各种随机干扰而产生误差 误差来源：
各环节的随机干扰
量测的不同时性，死区传送，CDT不同时
7/106
误差的性质
假设误差具有正态分布的性质
i zi hi ( x)
得到：
ˆ r z h( x) v H ( x )x
13/106
根据残差来判断
ˆ r z h( x ) v H ( x )x
最小二乘的基本原理
ˆ ˆ H T x R1 z h x 0
ˆ H T x R1 v H ( x)x 0
采用估计--检测和辨识--再估计--再检测和辨识的迭 代模式
10/106
坏数据的可检测和可辨识性
可观测(估计)性
能检测吗？
不良数据可检测
有没有？
不良数据可辨识
哪个是？
11/106
根据误差来判断
误差
量测值和真值之间的差
状态变量真值
v z h( x )
最直接的方法
（3）WR-1W=R-1W；
（4）WRWT=WR=RWT；
（5）0<Wij<1。
16/106
残差方程的作用
描述了残差和量测误差之间的线性关系
ri Wij v j Wi1 v1 Wi 2 v2 Wim vm
j 1 m
W矩阵的元素就是相应的比例系数 量测i的残差ri和所有量测误差有关
常数项
正态分布
一般坏数据幅值比正常量测误差的标准差大许多 倍，所以这第三项的值会十分大。 因此，考察估计后目标函数的值就能确定量测中 是否存在坏数据。
25/106
实用方法
考察目标函数是否超过某一事先确定的门槛值，以 确定是否存在不良数据。
J J
J J
有BD 无BD，属真
有BD，属真 称为漏检，或取伪错误 称为误检，或弃真错误。
如果我们能够知道系统的真值x，则量测误差很容易计算 出来，我们就可以把误差大于3σ的量测挑选出来。
看起来好像不良数据的检测与辨识很容易。
可能吗？
实际上，真实的系统状态是无法知道的，真实的量测误 差也是一个未知数。
12/106
根据残差来判断
残差
量测值和量测估计值之间的差
状态变量估计值
检测和辨识
人们在状态估计之前会对量测数据进行处理，
源自文库
根据对不良数据处理水平不同分为三个层次：
人工检测和辨识
量测极限值检测
量测量突变检查 量测数据的相关性检查
计算机实时检测和辨识(数据的预处理)
利用远动功能实现 粗检测和辨识
状态估计程序中的检测和辨识
4/106 通过大量正常的冗余量测，利用数学方法处理不良数据
不良数据检测与辨识的数学基础
正态分布
概率密度 分布函数
1 f ( x) e 2 E(x)= D( x)= 2
1 F ( x) e 2 x ( t )2 2
2

( x )2 2 2


dt

标准正态分布 1, 0
ˆ r z h( x)
ˆ x x x
残差和误差的关系
将量测估计在真值x附近Taylor级数展开
ˆ h( x) h( x) H ( x)x 代入残差表达式： v z h( x ) r z h( x ) H ( x )x v H ( x )x
所以J检测用于大系统不太敏感。
J检测也无法告诉我们哪些量测是坏数据。
27/106
不良数据的检测-加权残差检测
当量测值z是符合正态分布的随机变量时，其估计值 可以认为等于其均值，所以残差也是一个按正态分 布的随机变量。 由于加权残差的权值是相应量测的标准差的倒数， rw ~ N (0,W ) 因而加权残差也符合正态分布。
i
ri
残差方程改写：
rw Wwvw
i wi i
H T R1 H 1 H T R 1 Ww I R H
1
19/106
标准化残差
通过残差方程，可以得到残差的方差阵 Var r E rr T WRW T WR
定义矩阵D
定义标准化残差
将残差方程r=Wv代入上式：
J x v W R Wv v R Wv
T T 1 T 1
ˆ J x 是 2分布
定义A=R-1W m m m J x v T Av vi2 Aii Aij vi v j
i 1 i 1 j 1
j i
上面公式应以99.75%的概率得到满足
24/106
坏数据检测性质
如果有一个坏数据发生在量测 j 上 v v j e j
计算新的目标函数
j T 1 ˆ ˆ J ( x) J ( x) 2 j e j R Wv w jj j
2
2
自由度为k的 分布
i 1
方差:
Var J x E J x k 2 k
2
Jx 是自由度为k的
2
2 分布
) 由概率论可知，随着自由度k的增大， (k 越来越逼 近于正态分布；当k≥30时，可以用相应的正态分布 2 (k分布。 ) 来代替
ˆ J x ~ N k , 2k
T
得到：
x H
ˆ x R
T
1
ˆ H ( x ) H T x R 1v
1
1
r v H ( x) H
I H ( x) H

ˆ x R
T
ˆ H ( x ) H T x R 1v
1
1
ˆ x R
1
D diag WR
rN D1 r
rN WN υ
定义标准化残差灵敏度矩阵 WN D1W 标准化残差方程为：
是加权残差的一种，在国外早期的文献中，标准化 残差对检测和辨识单个不良数据有重要的作用。
20/106
不良数据的检测
当量测中存在不良数据时，量测误差矢量中某些分 量的值明显变大。
E i 0
i 1,..., m D( i ) i2
μ是z的真值(测量很多次的均值)
z ~ N (, )
2
3

3
8/106
坏数据定义
由正态分布的特性可知
P(| Z | ) 68.3% P(| Z | 2 ) 95.5% P(| Z | 3 ) 99.7%
W既不可逆，也不对角占优，是引起不良数据检测 与辨识困难的根本原因。
18/106
加权残差
为了便于进一步简化计算公式和分析，进入残差方 程的加权形式。
定义加权残差：
rw R 1 r
理解：对每个量测量对应的加权残差
rwi
定义加权量测误差：υw R 1 υ
理解：对每个量测量对应的加权误差