具有隐藏结构的超异质批次的推理统计抽样:正确决策单元定义的重要性

查克·拉姆齐^一个和Kim H. Esbensen^b

^一个EnviroStat公司总裁，http://www.envirostat.org，(电子邮件保护)

^b丹麦哥本哈根KHE咨询公司总裁。https://kheconsult.com/，(电子邮件保护)

DOI:https://doi.org/10.1255/sew.2022.a6
©2022作者
在创作共用BY-NC-ND许可下发布

抽样只不过是统计学的实际应用。如果没有可用的统计数据，则必须对整个人口的每个部分进行抽样，以确定一个或多个感兴趣的参数。抽样中可以使用许多潜在的统计检验，但许多统计检验只有在关于总体的某些假设是有效的情况下才有用。在任何抽样事件之前，必须建立操作决策单元(DU)。决策单元是分析结果对其进行推理的物质对象。在许多情况下，种群中存在不止一个决策单元。lot是单个决策单元的集合(总体)，这些决策单元将被视为一个整体(接受或拒绝)，这取决于单个决策单元的分析结果。采样理论(TOS)的应用对于在决策单元内对材料进行采样至关重要。但是，对决策单元内部分析兴趣集中的了解可能无法提供有关未抽样决策单元的信息;特别是对于一个高度异质的批次，其中一个决策单元可能与相邻的决策单元具有完全不同的特征。 In cases where every Decision Unit cannot be sampled, application of non-parametric statistics can be used to make inference从抽样决策单元来未采样的决策单元。单个决策单元抽样的TOS与非参数统计相结合，为决策单元多于实际抽样的情况提供了最好的推断。

介绍

有异质材料，也有异质批次。材料可以是异质的，这是指材料的基本组成单位之间的不相似性，例如颗粒(及其碎片)、颗粒、矿物质、细胞、生物单位……(这是《取样理论》中对异质性的定义)。在决策单元(DU)特征之间的不相似性意义上，批次可以是异构的。此外，存在具有显著内部复杂性的超异质批次类型，这些类型可以被已知或识别隐藏的。下面将重点介绍后一种类型。

对于许多内部结构复杂的超异质批次，即含有组对于或多或少不同的duu，由于后勤、经济或其他限制，实际上往往不可能进行完整的抽样。这些批次不能根据假设分布可靠地抽样，即分析物在du之间的分布不遵循任何已知分布，使得基于已知分布的原型统计推断不充分。相反，这些类型的批次的统计推断的基础是非参数单侧公差极限，它可以应用于从均匀到超异质的所有类型的批次，但它与本贡献中举例说明的超异质批次类型特别相关。

本专栏表明，当存在的du多于可以作为TOS的基本补充进行采样时，应用非参数统计方法的重要性。事实上，这种情况发生在很多情况下，对于很多采样目标、材料和批次。该怎么办?

异质性的不同表现

有非均质性，有非均质性，有非均质材料在DU存在异质性之间的杜。在TOS的意义上，材料可以是异质的，这反映了一个DU内材料的组成单位(颗粒及其碎片、颗粒、细胞等)之间的差异性。读者可能熟悉这种类型的抽样，参见参考文献1和其中的其他关键参考文献。参考资料2特别关注这种TOS意义上的异构性。

在差异的意义上，多个du可以是异构的之间的du的特征，可以或多或少适当地定义。在参考文献3中找到了对这种类型的大量抽样的介绍。

此外，还存在内部复杂性更高的异质批次类型，这些类型可能是已知的，也可能是未知的隐藏的。本专栏介绍了如何对这种超异质性批次进行抽样的基本原理，或者更准确地说，如何在du内部和du之间存在异质性的情况下进行抽样。

一个具有隐藏结构的超异质地块

超异质批次的一个说明性例子是遗留核废料超大批次(见致谢)。在50年的时间里，已经建立了广泛的核设施退役和若干临时低水平核废料储存设施(图1)可以原则上按需检索，但在实践中与不同程度的后勤限制相关联。目前，临时储存库中总共有66,000个装有空调的废桶。

图1所示。图示一个由等级单位组成的超异质批次:鼓-家族-批次。对于后面的讨论，与操作相关的DU是一个单独的鼓。

2021-2023年是开始对这些遗留核废料进行最终存储的时候了。今天的废物接收标准(WAC)比前几十年严格得多，因此迫切需要预先检查“所有”桶，目的是将其分为三类:1)清理为“最终储存”;2)“重新分类为中/高级存储”;或3)“需要进一步治疗”。Tuerlinckx和Esbensen描述了对选定的单个鼓进行物理、化学和放射检查所需的抽样方法。⁴

当前的艰巨任务是如何检查约66,000个桶:a)物理特性;B)化学特性;c)放射性特性，它利用了非常不同类型的分析物。根据目前的经济预算和实际情况，对所有约66000桶进行全面检查可能是不可行的，但这是可取的。此外，错误决策的后果是非常严重的。

图2。从多个采样到未采样du的推理说明。

那就太好了如果6万6千个鼓^一个可以被看作是一个统计人口，由i.i.d DUs组成，DUs之间的分布是已知的。但由于50年复杂的退役历史，我们知道低水平的核废料桶不仅不同极从成分含量、物理结构和放射性特征来看，但从统计学的角度来看，有很好的理由推断存在这种物质分组在这6.6万人口中但是这种分类(用核专家的行话来说就是“家族”)被很好地描述和区分的程度在其他事物之外，是明显不确定的;有些家庭被怀疑有明确的界限，但肯定不是全部，甚至可能不是大多数。

^一个在核废料领域，通常废料桶甚至可能有自己的内部非均质性，即包含1、2或3个压缩单位(称为“puck”)，这可能更好地反映感兴趣的最佳分解duu，这取决于所禁止的特定WAC分析物。然而，为了简单起见，我们在这里继续使用du作为鼓的同义词。

到目前为止，勤奋的档案工作已经确定了大约40多个“家庭”，每个家庭都有大致相似的放射性特征。测量单个鼓的放射性轮廓指纹相对容易。⁴由于明显的异质性层次结构(鼓-家庭- meta-population)，如图1所示，我们曾经暂时决定尝试使用“已解决的家庭”作为DUs，而不是像Ramsey所提出的那样使用整个群体。^3.当时的主要统计问题是是否有可能进行估计有多少需要用低“统计不确定性”来描述(或验证)每个家族。然而，进一步全面的问题分析表明，有必要增加观察解决的重点个人鼓作为最后的执行董事。

统计方法

必须用于这类云雾状批次的统计抽样的基础是非参数单侧公差极限一种不依赖于任何测量结果分布的测试。这个测试背后的统计理论在许多统计教科书中都有描述。^{5 - 7}

手术统计学方法

以下是一般情况下可应用于超异质批次的通用抽样计划:

1. 适当定义废物处理量——在目前的情况下，是一个单独的废物桶。
2. 确定项目的数据质量目标:项目管理必须决定它的愿望置信水平(X %)这不过是Y %鼓的声音五月不能通过化学WAC。确定置信水平和Y %先天的，而不考虑或不受统计所需样本数量的影响(见下文)。如果项目管理层决定100%确定0%不符合WAC标准(常见的请求)，那么不幸的是，我们无能为力。然后必须100%检验所有的du，并且必须没有抽样和分析误差——这显然是不可能的。
3. 统计标准:统计抽样包括一些失败的du可能是错过了。这一潜力将通过只进行a的统计抽样而大大减少抽样和分析成本而得到平衡分数占总人数的比例要确定所需的抽样努力，必须确定X置信度和Y百分比之前计算物理取样所需的桶数。决定其愿望是项目管理的责任独立和先天的制定抽样计划。最重要的是，不要首先选择需要提取的样本数量，例如基于项目经济，物流或其他一些分类因素，然后接受基于该数字的置信度和风险百分比。置信水平和风险百分比必须只有基于对不正确统计决策的后果的考虑(表1)。
   统计说明:鼓的百分比五月失败并不意味着任何未采样的鼓将失败，就那么多可以可能会失败，这是可以检测到的。所需样品的数量任何DUs的置信度和比例的组合可以根据参考文献6，由附录插图中的主方程确定。

表1。从总体中提取的统计上要求的样本数量。^a、b在这个表中，“失败”是指可能失败的最大数量，并不意味着任何一个都将失败。

置信水平(X): 90%
% DUs失败	10%	5%	1%
样品数量	[22]	[45]	[230]
置信水平(X): 95%
% DUs失败	10%	5%	1%
样品数量	[29]	[59]	[299]
置信水平(X): 99%
% DUs失败	10%	5%	1%
样品数量	[44]	[90]	[459]

^一个所需的样品数量可以计算为任何置信水平和百分比的组合。
^b如果需要采样的桶数接近总体(或已解决的家庭或复杂批次的另一个子集)的总数(大于10%)，则所需的样本数可以通过应用所谓的有限总体校正。在这种情况下，寻求进一步的统计援助。

4. 行动计划:选择和检索所需的鼓的数量随机从总人口的鼓。它是必要的在统计抽样计划中选择的任何鼓都可以完全用于抽样，并且可以在实践中不受任何不当限制地提取。
   统计的结论:如果没有一个提取的桶不能通过化学WAC，项目管理可以“X %确信不超过Y %的桶不能通过化学WAC”。由于这些数据质量目标已经确定先天的，这意味着该项目可以在不进一步核实执行WAC的情况下处置人口中的所有桶。值得注意的是，这个统计检验假设存在没有抽样误差和没有分析错误。虽然情况永远不可能是这样，但在实践中，为了提供可靠的结论，必须尽可能地控制这些误差，参见参考资料8。
   然而，这是汉堡在所有推论统计中:
5. 如果一个或多个DUs失败化学WAC标准，数据质量目标不，必须对桶进行额外的取样和分析。
   在这种情况下，有几个选项可以继续进行特征描述项目。必须与所有利益相关者和相关各方、一线科学技术人员、项目管理、监督委员会等合作开发这些替代方案。
   一种可能的做法是将采样的鼓与它们的放射剖面进行比较，看看是否有相关放射性剖面和WAC中的化学参数之间的关系。然后，也许可以建立一个多元数据模型，也就是化学计量模型。⁹如果是这样的话，它可能会也许是否有可能将种群中的所有鼓类划分为可操作的亚种群(一个拉目前已确定的约40个放射科)作为重复上述步骤1-3的基础，现在特别解决的阵列解决亚类(“家庭”)单独。此方法可用于任何相关WAC(放射、化学、物理、其他…)。注:此模型必须经过验证额外的随机DUs，因为很容易约束模型来拟合可用数据。关键的问题是测试模型，在a上验证模型新随机选择的du集(“测试集验证”)。验证任何模型的样本数量将与最初确定的相同，因为数据质量目标没有改变。仅仅尝试适量的额外样本是没有意义的。非参数统计的力量在于处理超异构批次的du数量;这是一个难题。

带回家学习

本期贡献的目的是提出一种所有类型的参数统计都不适用的批次异质性类型(基于假设或证明的正态分布，也不是任何其他参数分布)。虽然上面的方法是由许多具有相当具体的特征来说明的，但它很好地说明了一般特征对于非参数统计推理可以处理复杂的，部分或全部，隐藏的结构(年代)。

表1显示了在寻求统计帮助时经常出现的问题:“多少”在这种通用的非参数方法中，需要观察或测量，用于几种典型情况，即(90,95,99 %)置信度，即不超过(10,5,1 %)的du可能失效。根据数据质量目标，允许该测试方案所需的最小和最大样本数量可能从几个到数千个不等。泛化的力量是令人敬畏的，因为这个测试场景适用于所有不可能对所有du进行抽样的大量(总体)，这是一个非常广泛的物质世界，在这个世界中抽样是必要的!

一位来自抽样界的杰出“人物”，而不是专业统计学家，第一次看到这种非参数方法时，惊呼道:”但是这些是神奇的数字-它们适用于一切对每一批具有这种不明确特征的人来说都是如此。这是神奇的！在哪里这些数字是从哪里来的?”

科幻小说作家艾萨克·阿西莫夫(Isaac Asimov)(图3)曾经说过:“任何充分发展的技术，当以当代知识为基础进行评估时，都将难以区分。魔法”。

图3。艾萨克·阿西莫夫:他对科学技术和人类状况略知一二。图片来源:Jim DeLillo/Alamy Stock Photo

从信心与可靠性的角度来看

约翰·杨(1930-2018)，许多人认为的完美的宇航员，也是唯一一位同时参加过美国宇航局双子座、阿波罗和航天飞机计划的宇航员;他总共在太空飞行了六次。要了解一个绝对迷人的人生故事，请参见参考文献10;或者他在维基百科上的词条。

1987年，作为一名活跃的宇航员，他在约翰逊航天中心担任了一个新设立的职位，担任工程、操作和安全特别助理。在这个职位上，杨成为了众所周知的“备忘录人”，他写了数百份备忘录，涉及所有与船员安全有关的事项，在他觉得有必要的时候，他绝对不怕激怒一些人。安全在他心中是最重要的。杨比任何人都清楚，太空飞行是一项非常危险的事业，但他也知道注意细节的重要性，而且总是把事情做好。

图4。1971年10月约翰·w·杨的肖像照。来源:美国国家航空航天局

从这些过多的安全信件中，这里有一个小的金块宝石而是在目前的情况下(参考资料10，第314-315页):

有时候，官僚逻辑的荒谬让人难以接受。以固体火箭发动机(SRM)点火器为例。在STS-87的飞行准备审查中(....)，我们听到一个报告说固体火箭发动机点火器经历了12次改变。这些变化，以及涉及制造商的其他一些变化，已经引发了六种新点火器的试射。所谓的“拉尔森可靠性和置信度二项分布图”表明，发射6个点火器，零故障，我们有89%的可靠性和50%的置信度。要在50%的置信度下将可靠性提高到95%需要发射14次，而在90%的置信度下将可靠性提高到95%需要发射43次。所以，愚蠢的我，我要求我们继续点火来提升我们的信心。显然，我认为，获得信心比在仅仅是一次飞行测试中经历SRM点火失败要便宜得多。”

杨的下一段话与本专栏无关，但很有趣，也很有趣:

“那么，我的建议得到了什么回应?”我被告知制造点火器的工厂已经搬走了。后来，我被告知制造工厂有不被移动，“因此”，点燃六个点火器应该足够了。“所以?’”

结语:延续

所以，没有魔法——只有正确的推断统计来拯救这类“难以抽样”的群体。

然而，一个直接的建议，这是不可协商的:选择和提取的单个DUs的所有物理抽样，必须符合TOS规定的代表性抽样的规定、规则和要求。当需要进行破坏性测试时，这是必不可少的方法，没有例外。

还有许多其他类型的地段类似的在这里选择用来说明的特征可以在科学、技术、工业、贸易和环境监测与控制的非常广泛的部门中找到。例如，食品和饲料部门，参考文献11中可以找到其中的关键例子。或者来自采矿领域:破碎的矿石堆积的原始样本^12、13随机收集的卡车装载到工厂，而环境监测和控制的采样是目前方法广泛应用的领域。我们应该认识到，在不同的应用领域，食品和食品，du内和du之间的异质性特征是相同的，只是程度问题。²

附录

在哪里以及如何找到合适的“神奇数字”

在拉森列线图(图5)可用于获得本文所提供的所需样本数。这个图是在1966年发展起来的，远远早于计算机的普及，是基于二项分布的。要使用nomographic，在期望的“信心”和一个人愿意允许失败的“百分比”之间画一条线。这条线与n“样本量”给出了检验样品的必要数量。用这种方法，精确的测定是不可能的，但是从态图的读数与计算值是一致的。

图5。拉尔森图。四个圆圈表示所需的样本数量，在连接所需的“置信度”和所需的“百分比”的线与标记为“n样本大小”。还要注意底部边缘的标签x缺陷数量”(见正文)。维基共享。

拉尔森为批量验收抽样开发了这个nomogram。批次接受抽样是指根据批次内单个du的可接受不良率，接受或拒绝整个批次的单个du。这在统计质量控制中很常见。在传统的验收抽样中，可以建立任意的不合格率。

在本文给出的场景中，期望的故障率为零，但是没有百分之百的检查是不可能做到的。因此，需要在100%检查的经济性和(a)桶(s)可能被错误描述的可能性之间取得平衡。

拉尔森图也提供了允许的值一些缺陷——注意，在这种情况下需要更多的样品。虽然它在统计上是等价的，但这种方法(允许一些缺陷)并不适用于本文中使用的场景，因为我们在这里展示了我们不愿意故意允许的情况任何没有杜。但这种可能性为更广泛的应用提供了有趣的视角，例如，参见参考文献3,5,14 - 17。

致谢

作者承认使用通用核废料的灵感场景与BELGOPROCESS工作的概念，非常感谢。然而，很明显，上述在这一具体情况下描述的方法具有更广泛的普遍用途....

参考文献

1. K.H. Esbensen,抽样理论与实践导论。IM出版物开放(2020年)。https://doi.org/10.1255/978-1-906715-29-8
2. K.H. Esbensen，“材料性质:非均质性和适当的取样模式”，J. AOAC Int。98年,269 - 274(2015)。https://doi.org/10.5740/jaoacint.14-234
3. C.A. Ramsey，“对决策单元的推理的考虑”，J. AOAC Int。98 (2),288 - 294(2015)。https://doi.org/10.5740/jaoacint.14-292
4. R. Tuerlinckx和K.H. Esbensen，“核废料的放射性特征-代表性抽样的作用”，Spectrosc。bdapp官方下载安卓版欧洲33 (8),33-38(2022)。https://doi.org/10.1255/sew.2021.a56
5. R.E.沃波尔，R.H.迈尔斯，S.L.迈尔斯和k.e Ye，面向科学家和工程师的概率与统计, 9^th经济日报。普伦蒂斯·霍尔(2011)。
6. g·j·哈恩和w·k·米克尔，统计时间间隔。约翰·威利父子公司(1991)。https://doi.org/10.1002/9780470316771
7. 湄Helsel,非检测和数据分析，审查环境数据的统计。约翰·威利父子公司(2005)。
8. C. Ramsey，“抽样误差对食品安全验收抽样的影响”;第九届世界采样与混合大会论文集，北京(2019)。
9. K.H. Esbensen和B. Swarbrick，多变量数据分析:多变量分析、过程分析技术和质量设计导论6^th经济日报。迷彩出版社(2018)。ISBN 978-82-691104-0-1
10. J.杨(与詹姆斯R.汉森)，《永葆青春:太空探险之旅》。佛罗里达大学出版社(2012)。ISBN 978-0-8130-4933-5
11. K.H. Esbensen, C. Paoletti和N. Theix，(编辑)，“特别客座编辑部分(SGE):食品和饲料材料的抽样”，J. AOAC Int。98 (2),249 - 320(2015)。
12. 陈晓明，陈晓明，“黄金矿产资源估算的质量与抽样误差量化”，Spectrosc。bdapp官方下载安卓版欧洲32 (6),-(2020)。https://doi.org/10.1255/sew.2020.a2
13. S. c . Dominy, H.J. Glass, L. O 'Connor, C.K. Lam, S. Purevgerel, R.C.A. Minnitt，“基于采样理论的地下矿山品位控制策略”，矿物质八(6),232(2018)。https://doi.org/10.3390/min8060232
14. D. Wait, C. Ramsey和J. Maney，“测量过程”，in环境取证概论3^{理查德·道金斯}经济日报。学术出版社，pp. 65-97(2015)。https://doi.org/10.1016/B978-0-12-404696-2.00004-7
15. C. a . Ramsey和C. Wagner，《样品质量标准》，J. AOAC Int。98 (2),265 - 268(2015)。https://doi.org/10.5740/jaoacint.14-247
16. C.A.拉姆齐和A.D.休伊特，《评估样本代表性的方法》，环绕。取证6 (1),71 - 75(2005)。https://doi.org/10.1080/ 15275920590913877
17. C.A. Ramsey，“农业土壤中污染物取样的考虑”，J. AOAC Int。98 (2),309 - 315(2015)。https://doi.org/10.5740/jaoacint.14-268