我的数据发生了:潜在的问题和标准正态变量乘法散射校正光谱预处理|光谱学欧洲和世界半岛综合体育官方APP下载德甲bdapp官方下载安卓版

全文PDF

我的数据发生了的事情

A.M.C.戴维斯

诺里奇近红外咨询公司75年Intwood路,Cringleford,诺维奇NR4 6 aa,英国。电子邮件:(电子邮件保护)

汤姆·费恩看来

部门统计科学,伦敦大学学院,英国伦敦WC1E 6 bt,高尔街。电子邮件:(电子邮件保护)

介绍

本专栏已由两个汤姆最近的出版物。^1,2我感谢NIR出版物,允许我们使用引用1基本上保持不变。

托尼

这是常见的做法在近红外(NIR)校准应用预处理旨在纠正的散射效应通常出现在吸光度数据。这些预处理可以干扰对光谱的解释。这说明了借助两个相当极端人工的例子。

示例1

图1显示了三个数学创造了吸光度光谱。在地区只有一个光谱可以看到它是因为三个光谱是重合的。

光谱是由添加两个高斯峰零电平基线。第一峰值波长集中在30日是相同的在所有三个光谱。第二,集中在波长70,在每个光谱是不同的。在这个理想的例子这个变量代表感兴趣的分析物的吸光度,以不同的浓度的三个样品。如果这些光谱观察,将简单的解释,正确的结论会吸引。

在图2的光谱图1一直受到一些散射的影响,在一个理想化的数学方式。不同水平基线被添加到三个光谱,和不同的乘法扩展应用于每一个人。现在两个山峰高度不同,因为不同比例的影响,解释,目前还远未明朗。不幸的是,这是近红外光谱的典型情况。

Figure 1. Three artificially created absorbance spectra.

Figure 2. The spectra of Figure 1 with the addition of scatter effects.

通常的解决这一问题是应用预处理旨在纠正对散射的影响。自从转换,将图1的光谱转换成图2是一个基线转变和乘法扩展,人们可能希望的标准正态变量(SNV)^3,4或乘法散射校正(MSC)^4,5光谱预处理,这两个转变和规模,可能会取消这些理想化的散射效果。

图3和图4显示应用SNV和MSC的结果,分别。两种治疗方法的影响,通常但不总是这样²这样,非常相似。这种常见的效应,并不是理想的。预处理后这是第一高峰,在原始的光谱常数,表明变异,第二个峰值,这原本不同,现在几乎不变。显而易见的解释从图3或4是不正确的,分配错误的峰值分析物。

Figure 3. The spectra of Figure 2 after treatment with SNV.

Figure 4. The spectra of Figure 2 after treatment with MSC.

讨论的示例1

自然人为例子是故意的构造实现这一令人不安的结果。关键是在山峰的相对大小。SNV试图使垂直距离或多或少相同的光谱,而MSC应用转变和规模因素,试图让尽可能处理光谱一致。标准都是优化通过扩展大峰相一致,因此这正是预处理。

的例子是不建议我们不应该使用这些预处理。他们是有价值的工具,用于去除多余的可变性和帮助使校准更健壮。关键是要警告说,这些预处理,连同其他转变或重新调节光谱在一个简单的时尚,有可能导致错误的解释。效果一样引人注目,这里不太可能发生在实践中,但总是会有一种倾向的信息在一个波长区域转移别处或直接涂抹在整个波长范围。如果谱在图3和图4中使用请或PCR校正,第一高峰将出现强烈的加载和系数向量。这是另一个原因是谨慎的在解释这些向量在我们不的情况下已经有了一个好主意是重要的吸光度。⁶

示例2

讨论的示例1你应该注意到警告”……但并不总是……”。MSC和SNV不同转换有时他们可以产生不同的光谱的重要修改。可能没有一个像这个壮观的第二个例子利用不同的人工数据。

如果我们有一个“谱”只有三个波长的测量然后我们可以画出图来显示转换。图5显示了一些人工光谱数据,计算一个随机数生成器。洋红色、圆形点代表21日生,即未经处理的,光谱,每三个波长的测量,绘制在一维空间对应于每一个波长。

Figures 5–7. Figure 5. An artificial set of 21 spectra measured at three wavelengths. Figure 6. The end result of applying SNV to the spectra in Figure 5. Figure 7. The end result of applying MSC to the spectra in Figure 5.

SNV应用到这些数据的结果如图6所示,MSC如图7所示。他们怎么能如此不同?图8 - 10显示发生了什么。

SNV转换

SNV^3,4转换每个光谱通过减去均值和除以测量值的标准偏差。

第一步SNV和MSC转换、减法的意思是,可以形象地表现为21分正交平面上投影的子空间,如图8所示。

Figure 8. SNV and MSC, step 1: subtracting the mean from each spectrum.

粗线显示了向量的起源和方向是由交叉和它黄色的平面上。任何向量躺在这架飞机的意思是零。几何,减去均值对应于突出的点代表原始光谱二维登机,结果显示为一个青色圆。

第二步SNV,部门的标准差,如图9所示。

Figure 9. SNV, step 2: scaling the spectra by dividing by the standard deviation.

这是平面的图8,表示预计的青色圆(mean-centred)光谱和十字架的中心原点。除以标准差后所有的光谱具有相同的长度。取向是保存,所以现在扩展光谱图中的点表示为蓝色的圆圈。这是圆形结构。因此我们三个波长,SNV光谱治疗都将发现这个圆,如图6所示。一般来说,我们已经远远超过三个波长,那会是一件非常令人惊奇的看到完整的圆,在人工图6的例子。这是因为我们通常会处理光谱有很大程度的相似性。在这些才会投射在正常情况下,光谱的一小部分潜在循环通常曲率不会看到。

MSC转换

MSC^4,5转换每个光谱通过减去一个拦截,一个除以一个斜坡,b。一个和b计算的截距和斜率值的最小二乘回归的光谱参考光谱的对应值。这通常参考谱是均值谱减法的几何校准设置。非常类似于图8。唯一的区别在于,SNV光谱治疗都有一个均值为零,而MSC治疗参考光谱光谱有相同的意思。这是实现几何通过移动黄色的平面上,直到参考光谱的谎言,方向不变。

第二步,除b,如图10所示。

Figure 10. MSC, step 2: scaling the spectra by dividing by the slope of a regression on the reference spectrum.

图10中,如图9所示,从图8是黄色的飞机但是这次显示的第二阶段MSC。相同的配置的青色圆,如图8所示,是光谱减法拦截后,红圈是一样的光谱定标后b。固体绿色圆圈表示参考光谱,它由粗线连接到原点。当b的方向扩展频谱保存,还通过原点位于同一条直线,但它是沿着这条线,直到其投影的方向参考光谱正好等于参考光谱。结果是红圈都躺在直线,通过参考光谱和正交线加入到原点。达到这个结果,一些线路需要外推超出他们的起源和一些山坡上接近于零(积极或消极的斜坡上)可能需要外推很长一段路。这些点被视为离群值。

讨论的示例2

它需要非常极端的数据产生这些结果。然而,应该注意的是,这个数据并不是一个反常的结果;因为数据是随机的。相同的结果获得了一组不同的随机数据在最初出版。²曲率通常会被认为在高维度数据被SNV和一些可能会保留压缩降低维度。MSC将倾向于强调异常值超过SNV和MSC治疗光谱可能会包含一些异常值比其他一些预处理。

向你展示这些例子的重点是强调这些不同的转换和一个或另一个偶尔会产生更好的性能与给定的一组光谱,但偶尔会产生非常奇怪的情节。

引用

t•费恩“解释光谱预处理的效果”,近红外光谱的新闻20 (6),15 (2009)。
t•费恩c . Riccioli Garrido-Varo和J.E. Guerrero-Ginel,“SNV的几何和MSC”,Chemometr。智能。实验室系统。96年,22 (2009)。
R.J.巴恩斯硕士Dhanoa和中华民国李斯特标准正态变量变换近红外漫反射光谱和消除趋势”,达成。Spectrosc。43岁的772 (1989)。
t . Næs伊萨克松t, t·费恩看来,t·戴维斯,一个用户友好的多元校正和分类指南。近红外光谱出版物,奇切斯特,第十章(2002)。
p . Geladi d·麦克杜格尔和h Martens“线性化和散射的近红外反射光谱校正肉”,达成。Spectrosc。39岁,491 (1985)。
t•费恩解释系数向量,近红外光谱的新闻19 (6),15 (2008)。