第24卷,第12期 光谱学与光谱分析Vol 124,No 112,pp1563-1565
2004年12月 Spectroscopy and Spectral Analysis
December,2004
近红外光谱的数据预处理研究
高荣强1,范世福1*,严衍禄2,赵丽丽2
11天津大学精密仪器与光电子工程学院,天津 30007221中国农业大学信息与电气工程学院,北京 100083
摘 要 进行了小麦样品近红外光谱数据的预处理研究,一般仪器记录的样品近红外光谱数据中包含有一系列噪声和干扰信号,因此适当的预处理是进行后续光谱定标、建模及模型传递的基础,对可靠地获得准确
分析结果具有很重要的作用。结合小麦样品蛋白质含量近红外光谱分析工作,对由近红外光栅光谱仪和傅里叶变换近红外光谱分别记录的66种小麦样品光谱数据,采用高斯一阶、二阶导数小波变换方法进行了预处理。对比常用的一阶差分预处理,证明高斯函数导数小波变换方法是十分有效、实用的,预处理后光谱曲线非常光滑、噪声消除效果明显,富含有用光谱分析信息的区域更加清晰显示,因而非常有助于后续的光谱定标、建模和模型传递工作。
主题词 近红外光谱;光谱预处理;小波变换
中图分类号:T H74414 文献标识码:A 文章编号:1000-0593(2004)12-1563-03
收稿日期:2003-06-03,修订日期:2003-10-16
作者简介:范世福,1939年生,天津大学精密仪器与光电子工程学院教授,博士生导师 *通讯联系人
引 言
近红外光(N ear I nfrared 简称NIR )是介于可见光(Vis)和中红外光(简写为M IR 或IR )之间的电磁波,美国AST M
(American Society of T esting M aterials,美国材料检测协会)将近红外谱区定义为780~2526nm (波数为12820~3959cm -1)。
近红外光谱分析方法由于一系列独特的优点,正在全球范围内受到广泛的重视和推广应用[1,2]。近红外光谱由被测样品的近红外特征光谱主导,包含了噪声、各种外界干扰因素。噪声主要来自高频随机噪音、基线漂移、信号本底、样品不均匀、光散射等。因此要想通过近红外光谱来分析样品的物质成分,就应该先进行光谱预处理,以便降噪、减少各种干扰的影响,简化后续建模处理运算过程,提高分析准确度[3,4]。
在深入研究近红外光谱预处理的基础上[5],通过对66个小麦样品蛋白质含量测定的具体问题,研究解决近红外光谱数据预处理。本研究引入了小波变换进行光谱预处理。
1 小麦样品的近红外光谱
由中国农业大学信息学院生物物理实验室,提供了分别
由傅里叶变换型近红外光谱仪和光栅型近红外农产品品质分析仪扫描所得的小麦样品光谱图
[6]
,如图1和图2所示。
Fig 11 The NIR F ourier transf orm spectra of 66wheat samples
Instrument:Bruker -Vactor 22N
FT IR spectrometer;
Scanni ng region:4004-9003cm -1;Sampling i nterval:31875cm -1,1297points
Fig 12 The NIR grating spectra of 55wheat samples
Instrument:NIR grating spectrophotometer S canning regi on:4000-7692cm -1;S ampling interval:121308cm -1,301points
由图1和图2可见,所用的傅里叶变换光谱仪精度和稳定性很好,所以66个小麦样品的近红外光谱曲线离散度较小。
2小麦样品的近红外光谱数据预处理
为了消除仪器扫描过程中不可避免的噪声、减少种种外界因素带入的影响并简化数据处理的运算过程,应对仪器检测所得到的光谱数据作下述一系列预处理。
11噪声滤除
(1)移动平均平滑:主要去掉高频噪声的干扰。平滑处理需要选择处理窗口的大小,较大的平滑窗口可以使信噪比提高,但同时也会导致信号的失真,要综合考虑。
(2)微分处理,扣除仪器背景或漂移对信号的影响。采用微分可以较好地净化谱图信息,但在微分处理时,根据微分的级数,要合理选择微分窗口数据点的大小。
21归一化处理:消除光程或样品稀释等变化对光谱响应造成的影响。
31数据筛选和光谱范围的优选:从原始光谱数据中剔除无效数据,根据测定的主成分特征舍弃光谱信息微少的次要光谱范围,以减小计算工作量。
41中心化及标准化预处理:从每个光谱数据中减去各个样品的平均值,使所有数据都分布在零点两侧,充分反映变化信息,可简化以后的回归运算。
3小波变换预处理
就噪声滤除预处理方面比较了多种方法后,引入了小波变换对光谱进行预处理。小波理论是20世纪80年代后期发展起来的应用数学分支,其思想来源于伸缩与平移,它既保持了傅氏变换的优点又满足了局部性要求,具有多分辨率、方向选择性和自动调焦的特点,被誉为数学上的显微镜。本研究通过小波变换对近红外光谱作预处理,很好地实现了光谱数据平滑、降噪以及消除基线漂移。
在应用小波变换时,试用过许多小波,效果最为理想的就是高斯函数导数小波。本研究采用高斯一阶、二阶导数小波变换方法对光谱数据进行了预处理。
高斯函数H(t)=1
2P
e--t
2
2R2
是起平滑作用的低通函数,
本文用71(t)=d H
d t
(高斯一阶导数),72(t)=
d2H
d t2
(高斯二
阶导数)来作小波变换的基本小波。直接用平滑函数的导数对信号作处理,相当于信号经平滑后再求导。具体说就是:
(1)小波函数71(t)是低通平滑高斯函数H(t)的一阶导数,可用71(t)对近红外光谱V(t)作小波变换。此时小波
变换的零点正是d V
d t
=0之点,也就是V(t)的极值点;小波
变换的极值点是d2V
d2t
=0之处,也就是V(t)的转折点。
(2)小波函数72(t)是低通平滑高斯函数H(t)的二阶导数,可用72(t)对近红外光谱V(t)作小波变换。此时小
波变换的零点正是d2V
d2t
=0之点,也就是V(t)的转折点;小
波变换的极值点是
d V
d t
=0之处,也就是V(t)的极值点。
4预处理结果
为了比较经过高斯函数导数小波变换处理的效果,对
图1和图2的光谱先作一阶差分处理,用的是三点差分。得
到图3和图4的结果。
Fig13The FTIR spectra preprocessed by f irst order difference
(three points)algorithm
Fig14The grating spectra preprocessed by f irst order differ-
ence(three points)algorithm
在图3中光谱线重叠的那些光谱区段是与小麦样品蛋白
质含量基本无关的,没有重叠的光谱部分才能反映小麦蛋白
质含量的部分;而在图4中,因图2所示的原始光谱离散度
较大,经过差分预处理后光栅光谱的情况没有反映出有用的
信息所在的位置,对后续的定标和预测产生了负面影响,这
或许是因为光栅光谱的扰动较大,直接作差分后反而放大了
扰动。
采用高斯一阶、二阶导数小波对傅里叶变换光谱预处理
的结果如图5,图6;采用高斯一阶、二阶导数小波对光栅光
谱进行预处理的结果如图7,图8。
由图5,图6,图7和图8可见,引入高斯导数小波变换
对原始光谱进行预处理后,光谱曲线明显变光滑了,基本上
消除了噪声的影响,光谱中富含有用信息的光谱位置更加清
晰显示出来;对比图2、图4和图7、图8可以看出:尤其对
于光栅光谱,小波变换预处理的作用非常明显,在后续的定
标建模中,更能够凸现其好的效果。
5结论
通过研究证实引入小波变换对N IR光谱进行预处理,特
别是采用高斯函数一阶、二阶导数小波变换,可以获得很好
的效果。
1564光谱学与光谱分析第24卷
