经典的验证试验设计、参数估计与检验方法主要以大样本试验为前提而开展的,但是对于导弹这类高精度武器系统而言,由于其高昂的造价致使投入使用的样机较少,试验周期较长,导致实际开展验证试验时样本量受到小子样条件限制[1]。
随着试验方法的多样化、系统仿真技术的成熟化,使得在验证试验开展前具备多源先验信息,包括同类武器系统的历史试验信息、专家基于武器装备水平认知的经验信息及预计信息、武器装备研制过程中各层级的试验信息及仿真试验信息等[2]。可见,多源信息融合技术的运用就成为基于小子样条件下验证试验的核心环节。
由于Bayes方法能够充分运用各种已有的先验信息,可在小子样条件下对导弹等高精度复杂装备系统的统计推断做出可信度较高的估计,故Bayes方法在不同工程领域(如可靠性[3]、维修性[4]以及测试性[5]等)、不同的应用背景(如验证试验设计[6]、参数估计[7]与检验[8]等)中得到了广泛的应用。
在Bayes方法的验证试验设计方面,通过在序贯试验设计方案中引入Bayes方法来融合相关先验信息,得到了国内外广大研究者的青睐。考虑简单假设条件,文献[9]基于成功率序贯抽样方法,将产品研制阶段获得的数据转化为等效的实际数据,利用贝叶斯统计公式将等效的实际数据融合为真实的验证测试数据,能有效地降低现场验证试验样本量;文献[10]基于二项分布模型推导了Bayes截尾序贯概率比检验(SPRT)方法,证明该方法能充分运用先验信息,得到其平均试验样本量优于传统SPRT方法,适合于小子样条件下的验证试验设计。考虑复杂假设条件,文献[11]充分结合SPRT方法和Bayes方法的优点,提出一种序贯验后加权检验(SPOT)方法,能充分运用先验信息,达到减少验证试验样本量的目的;文献[12]针对二项分布模型的测试性验证试验方案的制定,利用SPOT方法通过序贯后验概率比和决策阈值实现样本量的动态判决,在相同约束参数下证明SPOT方法的实际样本量要优于SPRT方法,达到减少样本量的目的。无论是考虑简单假设亦或复杂假设,均未能考虑原假设和备择假设间的模糊参数空间,当实际指标值位于模糊参数空间时会导致较高的误判率,所需样本量也会相应增加。
针对模糊参数空间的处理问题,文献[13]以导弹命中概率为研究对象,通过MSPOT方法有效考虑了最低可接受值和设计指标值之间的模糊参数空间处理问题;文献[14]提出了多简单假设的MSPRT方法,并考虑了先验信息,研究了试验风险与试验样本量期望值的估计方法。以上分别针对多简单假设和多复杂假设条件下的模糊参数空间的问题,但未能将序贯试验设计的具体过程作为研究重点,同时未能充分运用多源先验信息。
鉴于此,综述相关文献,一方面目前融合先验信息的序贯试验设计方案未能在测试性验证领域得到充分应用,另一方面现有研究测试性验证试验设计的文献亦未能考虑测试性指标之间的模糊参数区间以及多源先验信息的问题。针对模糊参数空间的问题,本文以测试性承制方要求值和使用方要求值构建三参数空间复杂假设,并基于Bayes方法研究序贯试验设计的具体过程,包括决策因子和决策阈值的确定,以及基于Bayes理论研究序贯决策规则;针对多源先验信息的问题,本文以测试性指标构成的参数空间为辨识框架,基于D-S证据理论融合测试性专家信息以及测试性试验数据。两者结合起来,提出一种基于优化SPOT和D-S证据理论的测试性验证试验方案(下称优化DS-SPOT方案),在保证测试性验证样本充分性和试验结果置信度的同时,旨在充分利用先验信息解决工程应用中测试性验证试验受费用的限制性和故障样本量注入的困难性,期使在实际工程应用中达到优化验证试验样本、缩短试验周期,降低试验费用的问题。
1 问题描述设p0为承制方测试性水平要求值,p1为使用方测试性水平要求值(p0>p1),则测试性指标参数空间Θ可以划分为3部分Θ={Θ0, Θ1, Θ2},其中Θ0={p:p≥p0},Θ1={p:p1 < p < p0},Θ2={p:p≤p1}。现有SPOT方法(下称传统SPOT方法)考虑如下两假设问题:
$ \left\{ {\begin{array}{*{20}{l}} {{H_0}:p \ge {p_0}}\\ {{H_1}:p \le {p_1}} \end{array}} \right. $ | (1) |
同时假设n次测试性验证试验结果序贯序列表示为X={X1, …, Xi, …, Xn},Xi={0, 1},Xi=1表示验证试验成功,Xi=0表示验证试验失败,记c为n次试验结果序贯序列中Xi=0的个数,即表示累积验证失败次数。在采用Bayes方法进行统计分析时,通过武器系统历史试验信息以及装备各层级试验信息等得到测试性指标的先验分布为π(p),结合序贯序列X可以得到验后分布π(p|X),则传统SPOT方法给出的序贯后验概率比可表示为[15]
$ {O_n}\left( \mathit{\boldsymbol{X}} \right) = \frac{{P\left( {{H_0}|\mathit{\boldsymbol{X}}} \right)}}{{P\left( {{H_1}|\mathit{\boldsymbol{X}}} \right)}} = \frac{{\int_{{\mathit{\Theta }_0}} {{\rm{ \mathit{ π} }}(p|\mathit{\boldsymbol{X}}){\rm{d}}p} }}{{\int_{{\mathit{\Theta }_2}} {{\rm{ \mathit{ π} }}(p|X){\rm{d}}p} }} $ | (2) |
根据On(X)和决策常数A和B的动态比较即可完成测试性验证试验的接收/拒收判定,决策常数A和B可表示为[15]
$ \left\{ {\begin{array}{*{20}{l}} {A = \frac{{{\beta _{{\pi _1}}}}}{{{P_{{H_0}}} - {\alpha _{{\pi _0}}}}}}\\ {B = \frac{{{P_{{H_1}}} - {\beta _{{\pi _1}}}}}{{{\alpha _{{\pi _0}}}}}} \end{array}} \right. $ | (3) |
式中:PH0=∫Θ0π(p)dp;PH1=∫Θ2π(p)dp;PH0和PH1表示2种假设H0和H1的验前概率,这里PH0+PH1≠1;απ0和βπ1表示两类风险。
问题1 根据参数空间的不同划分方式:①基于简单假设检验的序贯类方法有关的文献中均有PH0+PH1=1,即“非彼即此”的参数空间划分,但是对于这种“非彼即此”的划分方式,当实际值p位于指标值p0和p1之间时,会导致验证试验误判率较高;②基于复杂假设检验的序贯类方法有关的文献中一般而言PH0+PH1≠1,这是由于指标参数空间中的模糊空间Θ1={p:p1 < p < p0}未予考虑所致,事实上PH0+PH1+∫Θ1π(p)dp≡1,由此可见模糊空间的验前概率在测试性验证试验方案中的作用未予考虑,无疑会降低验证方案的准确性。
问题2 两假设的复杂假设问题仅考虑了测试性指标参数是否被接收/拒收,当指标参数p∈Θ1时,两假设检验问题的验证方案无法做出判断,会判给Θ0或者Θ2,直接导致风险απ0和βπ1增加;同时,未能从“小概率事件原理”[16]的角度解释接受/拒收原假设,即未能给出接受/拒收原假设的后验概率值。
问题3 对导弹类高精度武器装备开展测试性验证试验前,其研制阶段存在专家信息以及成败型试验信息等多源测试性先验信息,这些先验信息反映了装备在不同研制阶段的测试性水平,如何运用这些先验信息对先验分布π(p)进行有效补充,并合理制定装备的测试性验证方案也是问题之一。
2 优化SPOT序贯试验方案设计论文将模糊参数空间纳入假设检验中,构造测试性指标的三参数空间复杂假设:
$ {H_0}:p \ge {p_0},\quad {H_1}:{p_1} < p < {p_0},\quad {H_2}:p \le {p_1} $ | (4) |
针对问题1,重新定义各假设的验前概率为
$ \left\{ {\begin{array}{*{20}{l}} {\pi \left( {{H_0}} \right) \buildrel \Delta \over = \int_{{\mathit{\Theta }_0}} \pi (p){\rm{d}}p}\\ {\pi \left( {{H_1}} \right) \buildrel \Delta \over = \int_{{\mathit{\Theta }_1}} \pi (p){\rm{d}}p}\\ {\pi \left( {{H_2}} \right) \buildrel \Delta \over = \int_{{\mathit{\Theta }_2}} \pi (p){\rm{d}}p} \end{array}} \right. $ | (5) |
式(5)中π(H0)+π(H1)+π(H2)=1,考虑承制方和使用方要求值间的模糊区域,保证了指标空间划分的完备性。
针对问题2,考虑传统SPOT方法中仅做出接受/拒收判决以及未能从“小概率事件原理”的角度解释接受/拒收原假设的问题,制定三参数空间复杂假设的决策规则,实现对测试性真实指标所属参数空间的有效判定。
2.1 三参数空间的序贯后验概率设测试性指标参数p的先验分布服从Beta分布,则有:
$ \pi \left( p \right) = {\rm Beta}\left( {p;a,b} \right) = \frac{{{p^{a - 1}}{{(1 - p)}^{b - 1}}}}{{\int_0^1 {{p^{a - 1}}} {{(1 - p)}^{b - 1}}{\rm{d}}p}} $ | (6) |
式中:a和b表示先验分布的超参数。
根据验证试验序贯序列X={X1, X2, …, Xn}得到的(n, c)值,由Bayes公式可得的后验分布具备如下形式:
$ \begin{array}{l} {\rm{ \mathit{ π} }}(p|(n,c)) = \\ \;\;\;\;\;\;\;\frac{{ {\rm Beta} (p;a,b)C_n^c{p^{n - c}}{{(1 - p)}^c}}}{{\int_0^1 { {\rm Beta} } (p;a,b)C_n^c{p^{n - c}}{{(1 - p)}^c}{\rm{d}}p}} = \\ \;\;\;\;\;\;\;{\rm{{\rm Beta}}}\left( {p;a + n - c,b + c} \right) \end{array} $ | (7) |
则通过式(7)以及式(5)可计算出假设Hi(i=0, 1, 2)成立的后验概率为
$ \left\{ {\begin{array}{*{20}{l}} {\pi \left( {{H_0}|(n,c)} \right) = \int_{{\mathit{\Theta }_0}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} }\\ {\pi \left( {{H_1}|(n,c)} \right) = \int_{{\mathit{\Theta }_1}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} }\\ {\pi \left( {{H_2}|(n,c)} \right) = \int_{{\mathit{\Theta }_2}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} } \end{array}} \right. $ | (8) |
据此,可以建立三参数空间复杂假设的Bayes序贯检验决策规则。
2.2 三参数空间的Bayes序贯检验决策规则1) 决策因子
为了建立Bayes序贯检验决策规则,首先对后验概率π(Hi|(n, c))进行分析,根据式(8)有
$ \begin{array}{l} \pi \left( {{H_i}|(n,c)} \right) = \frac{{\int_{{\mathit{\Theta }_i}} {{p^{a + n - c - 1}}} {{(1 - p)}^{b + c - 1}}{\rm{d}}p}}{{\int_0^1 {{p^{a + n - c - 1}}} {{(1 - p)}^{b + c - 1}}{\rm{d}}p}} = \\ \;\;\;\;\;\;\;\;\frac{{\int_{{\mathit{\Theta }_i}} {{p^{a + n - c - 1}}} {{(1 - p)}^{b + c - 1}}{\rm{d}}p}}{{\sum\limits_{j = 0}^2 {\int_{{\mathit{\Theta }_j}} {{p^{a + n - c - 1}}} } {{(1 - p)}^{b + c - 1}}{\rm{d}}p}} = \\ \;\;\;\;\;\;\;\;{\left( {1 + \frac{{\sum\limits_{j = 0,j \ne i}^2 {\int_{{\mathit{\Theta }_j}} {{p^{a + n - c - 1}}} } {{(1 - p)}^{b + c - 1}}{\rm{d}}p}}{{\int_{{\mathit{\Theta }_i}} {{p^{a + n - c - 1}}} {{(1 - p)}^{b + c - 1}}{\rm{d}}p}}} \right)^{ - 1}} \end{array} $ | (9) |
基于式(9)给出决策因子的定义为
$ \begin{array}{l} {\mathit{\Lambda }_i}\left( \mathit{\boldsymbol{X}} \right) = \frac{{\sum\limits_{j = 0.j \ne i}^2 {\int_{{\mathit{\Theta }_j}} {{p^{a + n - c - 1}}} } {{(1 - p)}^{b + c - 1}}{\rm{d}}p}}{{\int_{{\mathit{\Theta }_i}} {{p^{a + n - c - 1}}} {{(1 - p)}^{b + c - 1}}{\rm{d}}p}} = \\ \;\;\;\;\;\frac{{\sum\limits_{j = 0,j \ne i}^2 {\rm{ \mathit{ π} }} \left( {{H_j}|(n,c)} \right)}}{{{\rm{ \mathit{ π} }}\left( {{H_i}|(n,c)} \right)}} \end{array} $ | (10) |
从式(10)中可以看出,决策因子Λi(X)相对于传统SPOT方法的序贯概率比On(X)(见式(2))而言,将待测指标模糊参数空间的后验概率融入进来,保证了假设检验问题的完备性。
2) 决策阈值
假设做出决策接受假设Hi时,决策因子Λi(X)的阈值上界为Ai,由于序贯验证试验过程的动态性,导致难以确定Ai确切的数学表达式,同时由式(10)知,π(Hi|(n, c))越大,Λi(X)的值越小,同时π(Hi|(n, c))越大也说明需要更加准确的先验分布和更充足的实际序贯验证数据,因此确定决策阈值Ai对于确定序贯验证试验样本量有着直接的约束作用,进而影响序贯决策的准确性。决策阈值Ai越小,相应的样本需求越大,决策结果越精确。本文基于后验概率和“小概率事件原理”,通过引入三参数空间的误判风险αHi,给出了决策阈值的确定方法,如下:
① 从“小概率事件原理”上而言,当根据实际序贯验证试验数据以及先验分布支持接受假设Hi成立时,可认为后验概率π(Hi|(n, c))具备较大的值,以此证明假设Hi的正确性。因此在接受假设Hi时,作如下要求:
$ \left\{ {\begin{array}{*{20}{l}} {\pi \left( {{H_i}|(n,c)} \right) > \pi \left( {{H_i}|(n,c)} \right)}&{j \ne i}\\ {\pi \left( {{H_i}|(n,c)} \right) \ge 1 - {\alpha _{{H_i}}}}&{} \end{array}} \right. $ | (11) |
式中:αHi表示接受假设Hi的误判风险接受值(由承制方和使用方提供)。
② 根据式(9)和式(10)有
$ \pi \left( {{H_i}|(n,c)} \right) = \left( {1 + {\mathit{\Lambda }_i}(\mathit{\boldsymbol{X}})} \right) - 1 \ge {\left( {1 + {A_i}} \right)^{ - 1}} $ | (12) |
结合式(11)和式(12),令(1+Ai)-1=1-αHi,即可得到决策阈值:
$ {A_i} = \frac{{{\alpha _{{H_i}}}}}{{1 - {\alpha _{{H_i}}}}} $ | (13) |
3) 决策规则
通过以上序贯验证试验设计分析,根据式(10)、式(11)和式(13)的约束要求,则有如下序贯决策规则:
$ \begin{array}{l} \exists i,{\rm{ s}}{\rm{.t}}{\rm{. }}{N_{\rm{a}}} = {\rm{inf}}\;\;n \ge 1:\\ \;\;\;\;\;\left\{ {\begin{array}{*{20}{l}} {{\mathit{\Lambda }_i}(\mathit{\boldsymbol{X}}) < {\mathit{\Lambda }_j}(\mathit{\boldsymbol{X}})}&{j \ne i}\\ {{\mathit{\Lambda }_i}(\mathit{\boldsymbol{X}}) \le {A_i}}&{} \end{array}} \right. \Rightarrow \delta = {H_i} \end{array} $ | (14) |
式中:Na表示序贯停止时的最小样本量;δ表示决策结果。
至此,完成了优化SPOT方法序贯试验的设计过程。
3 D-S证据理论融合多源先验信息针对问题3,导弹装备在研制阶段的测试性信息来源广泛,包括专家信息以及成败型试验信息,而D-S证据理论在对随机不确定性问题和认知不确定性问题的表达和处理方面具备较强的能力,本文为合理有效的运用研制阶段的测试性多源先验信息,利用D-S证据理论融合多源先验信息,对第2节序贯验证试验方案进一步优化。
根据D-S证据理论的定义[17],考虑到测试性指标参数空间Θ的非空性以及Θ中元素满足互不相容的条件,因此定义辨识框架为Θ={Θ0, Θ1, Θ2},在此基础上针对多源先验信息构建其相应的基本信任分配函数m。
3.1 成败型试验信息的基本信任分配函数对于历史成败型试验信息(n, c)可视为辨识框架Θ上的一个证据,根据第2节的分析,基于式(8)可以建立该证据在辨识框架Θ的基本信任分配函数m1:
$ \left\{ {\begin{array}{*{20}{l}} {{m_1}\left( {{\mathit{\Theta }_0}} \right) = \int_{{\mathit{\Theta }_0}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} }\\ {{m_1}\left( {{\mathit{\Theta }_1}} \right) = \int_{{\mathit{\Theta }_1}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} }\\ {{m_1}\left( {{\mathit{\Theta }_2}} \right) = \int_{{\mathit{\Theta }_2}} {{\rm Beta}\left( {p;a + n - c,b + c} \right){\rm{d}}p} } \end{array}} \right. $ | (15) |
由(15)可得,m1(Θi)∈[0, 1],
在导弹武器装备的研制过程中,测试性领域专家基于其自身对导弹装备测试性水平的认知,能通过不同评估形式[18](区间估计形式以及单侧置信下限形式)给出导弹装备测试性水平的评估信息。
1) 区间估计形式的专家信息基本信任分配函数:假设有N个测试性领域专家,根据专家经验的信任程度,分配不同的权重系数wj(j=1, 2, …, N),且第j位专家给出区间形式[pL(j), pU(j)]的信息,则首先对区间形式的专家经验信息进行汇总:
$ \left\{ {\begin{array}{*{20}{l}} {{p_{\rm{L}}} = \sum\limits_{j = 1}^N {{w_j}p_{\rm{L}}^{\left( j \right)}} }\\ {{p_{\rm{U}}} = \sum\limits_{j = 1}^N {{w_j}p_{\rm{U}}^{\left( j \right)}} } \end{array}} \right. $ | (16) |
其次,在给定置信度水平γ1下,实现区间估计形式数据[pL, pU]向成败型数据(n′, c′)的折合:
$ \left\{ {\begin{array}{*{20}{l}} {\sum\limits_{d = 0}^{c'} {C_{n'}^d} p_L^{\left( {{n^\prime } - d} \right)}{{\left( {1 - {p_{\rm{L}}}} \right)}^d} = 1 - \frac{{1 + {\gamma _1}}}{2}}\\ {\sum\limits_{d = 0}^{{c^\prime } - 1} {C_{n'}^d} p_{\rm{U}}^{\left( {{n^\prime } - d} \right)}{{\left( {1 - {p_{\rm{U}}}} \right)}^d} = \frac{{1 + {\gamma _1}}}{2}} \end{array}} \right. $ | (17) |
根据式(17)将区间形式的专家信息转化为成败型数据(n′, c′),据此构建区间形式的专家信息基本信任分配函数m21:
$ {m_{21}}\left( {{\mathit{\Theta }_i}} \right) = \int_{{\mathit{\Theta }_i}} {{\rm Beta}} \left( {p;a + {n^\prime } - {c^\prime },b + {c^\prime }} \right){\rm{d}}p $ | (18) |
由式(18)可得,m21(Θi)∈[0, 1],
2) 单侧置信下限形式的专家信息基本信任分配函数:同样假设有N个测试性领域专家,第j位专家对于测试性指标p的点估计
$ \left\{ {\begin{array}{*{20}{l}} {\hat p = \sum\limits_{j = 1}^N {{w_j}} {{\hat p}_j}}\\ {{{\hat p}_{{\rm{L}},{\gamma _2}}} = \sum\limits_{j = 1}^N {{w_j}} {{\hat p}_{{\rm{L}},{\gamma _2},j}}} \end{array}} \right. $ | (19) |
其次,将单侧置信下限形式的专家信息(
$ \left\{ {\begin{array}{*{20}{l}} {\hat p = \frac{{{n^{\prime \prime }} - {c^{\prime \prime }}}}{{{n^{\prime \prime }}}}}\\ {\sum\limits_{f = 0}^{{c^{\prime \prime }}} {C_{n''}^f\hat p_{{\rm{L}},{\gamma _2}}^{\left( {n'' - f} \right)}{{\left( {1 - {{\hat p}_{{\rm{L}} \cdot {\gamma _2}}}} \right)}^f} = 1 - {\gamma _2}} } \end{array}} \right. $ | (20) |
根据式(20)将单侧置信下限形式的专家信息转化为成败型数据(n″, c″),据此构建区间估计形式的专家信息的基本信任分配函数m22:
$ {m_{22}}\left( {{\mathit{\Theta }_i}} \right) = \int_{{\mathit{\Theta }_i}} {{\rm Beta}} \left( {p;a + {n^{\prime \prime }} - {c^{\prime \prime }},b + {c^{\prime \prime }}} \right){\rm{d}}p $ | (21) |
由式(21)可得,m22(Θi)∈[0, 1],
为了确定测试性序贯验证试验方案及给出序贯决策结果δ,根据序贯判决规则式(14),现假设Na次序贯验证试验后作出决策,对应的检测/隔离失败数为Ca,将该序贯验证方案(Na, Ca)视为一个证据,构建其基本信任分配函数m0:
$ {m_0}\left( {{\mathit{\Theta }_i}} \right) = \int_{{\mathit{\Theta }_i}} {{\rm Beta}} \left( {p;a + {N_{\rm{a}}} - {C_{\rm{a}}},b + {C_{\rm{a}}}} \right){\rm{d}}p $ | (22) |
根据D-S证据理论的合成规则,将不同基本信任分配函数进行融合,得到融合后的基本信任分配函数
$ \tilde m = {m_0} \oplus {m_1} \oplus {m_2} $ | (23) |
式中:由于对测试性指标进行评估时,一般仅会约定一种形式的专家信息,所以基本信任分配函数m2表示m21和m22中的任意一种,具体根据所约定的专家信息的形式而决定。
此外,融合得到的
定理1 如果优化序贯验证方案进行到第Na次时(对应的检测/隔离失败数为Ca),满足以下条件:
$ \begin{array}{l} \exists i,{\rm{ s}}{\rm{. t}}{\rm{.}}\\ \;\;\;\;\;\left\{ {\begin{array}{*{20}{l}} {\frac{{\sum\limits_{k = 0,k \ne i}^2 {\tilde m} \left( {{\mathit{\Theta }_k}} \right)}}{{\tilde m\left( {{\mathit{\Theta }_i}} \right)}} < \frac{{\sum\limits_{k = 0,k \ne j}^2 {\tilde m} \left( {{\mathit{\Theta }_k}} \right)}}{{\tilde m\left( {{\mathit{\Theta }_j}} \right)}}} \qquad j\ne i\\ {\frac{{\sum\limits_{k = 0,k \ne i}^2 {{m_0}} \left( {{\mathit{\Theta }_k}} \right)}}{{\tilde m\left( {{\mathit{\Theta }_i}} \right)}} \le {A_i}} \end{array}} \right. \end{array} $ | (24) |
则(Na, Ca)为在接受假设δ=Hi下的一次序贯验证试验方案。
证明 对m0(Θ1)而言,根据第2节所设计的优化SPOT序贯试验方案,(Na, Ca)为其一次序贯方案,则根据序贯规则式(14),如若接受假设δ=Hi,则必然存在:
$ \left\{ {\begin{array}{*{20}{l}} {\frac{{\sum\limits_{k = 0.k \ne i}^2 {{m_0}} \left( {{\mathit{\Theta }_k}} \right)}}{{{m_0}\left( {{\mathit{\Theta }_i}} \right)}} < \frac{{\sum\limits_{k = 0.k \ne j}^2 {{m_0}} \left( {{\mathit{\Theta }_k}} \right)}}{{{m_0}\left( {{\mathit{\Theta }_j}} \right)}}\;\;\;\;j \ne i}\\ {\frac{{\sum\limits_{k = 0.k \ne i}^2 {{m_0}} \left( {{\mathit{\Theta }_k}} \right)}}{{{m_0}\left( {{\mathit{\Theta }_i}} \right)}} \le {A_i}} \end{array}} \right. $ | (25) |
根据
$ \left\{ {\begin{array}{*{20}{l}} {{m_0}\left( {{\mathit{\Theta }_i}} \right) > {m_0}\left( {{\mathit{\Theta }_j}} \right)}&{j \ne i}\\ {{m_0}\left( {{\mathit{\Theta }_i}} \right) \ge {{\left( {1 + {A_i}} \right)}^{ - 1}}}&{} \end{array}} \right. $ | (26) |
对于∀ε>0,令
$ \begin{array}{l} {m_0}\left( {{\mathit{\Theta }_i}} \right) = \frac{{\int_{{\mathit{\Theta }_i}} {{P^{a + {N_{\rm{a}}} - {C_{\rm{a}}} - 1}}} {{(1 - p)}^{b + {C_{\rm{a}}} - 1}}{\rm{d}}p}}{{\int_0^1 {{p^{a + {N_{\rm{a}}} - {C_{\rm{a}}} - 1}}} {{(1 - p)}^{b + {C_{\rm{a}}} - 1}}{\rm{d}}p}} > \\ \;\;\;\;\;\;\;\frac{1}{{1 + \varepsilon }} \end{array} $ | (27) |
显然,对于∀ε>0,总存在(Na, Ca)使得式(28)成立:
$ \left\{ {\begin{array}{*{20}{l}} {{m_0}\left( {{\mathit{\Theta }_i}} \right) > {m_0}\left( {{\mathit{\Theta }_j}} \right)}&{j \ne i}\\ {{m_0}\left( {{\mathit{\Theta }_i}} \right) \ge {{(1 + \varepsilon )}^{ - 1}}}&{} \end{array}} \right. $ | (28) |
同时,由于研制信息已知,则研制信息确定的m函数确定,根据D-S证据理论合成公式有
$ \frac{{\tilde m\left( {{\mathit{\Theta }_k}} \right)}}{{\tilde m\left( {{\mathit{\Theta }_i}} \right)}} = {M_{ki}}\frac{{{m_0}\left( {{\mathit{\Theta }_k}} \right)}}{{{m_0}\left( {{\mathit{\Theta }_i}} \right)}}\;\;\;\;k \ne i $ | (29) |
式中:Mki为常数。进一步可得:
$ \begin{array}{l} \frac{{\sum\limits_{k = 0.k \ne i}^2 {\tilde m} \left( {{\mathit{\Theta }_k}} \right)}}{{\tilde m\left( {{\mathit{\Theta }_i}} \right)}} \le \mathop {\max }\limits_{k \ne i} \left( {\frac{1}{{{M_{ki}}}}} \right)\frac{{\sum\limits_{k = 0.k \ne i}^2 {{m_0}} \left( {{\mathit{\Theta }_k}} \right)}}{{{m_0}\left( {{\mathit{\Theta }_i}} \right)}} \le \\ \;\;\;\;\;\;\mathop {\max }\limits_{k \ne i} \left( {\frac{1}{{{M_{ki}}}}} \right)\varepsilon = \eta \end{array} $ | (30) |
即对于任意
以某型导弹装备的飞控系统故障检测率(FDR)为研究对象,待验证装备的先验信息来源于历史装备的试验数据。由于历史装备已经具备较好的测试性水平,待验证装备只是在历史装备的基础上增加新的BIT(Build In Test)设计及测试性设计。在历史装备的测试性验证试验中,共注入了82次故障,正确检测故障78次,未能成功检测故障4次,采用Hart运用的经验Bayes方法[19]对历史装备信息进行处理,即认为历史装备的验证试验等价于对当前装备进行了60%次数的试验。因此可确定先验分布满足:
$ \begin{array}{l} \pi (p) = {\rm{Beta}}\left( {p;78 \times 0.6,4 \times 0.6} \right) = \\ \;\;\;\;\;{\rm{Beta}}\left( {p;46.8,2.4} \right) \end{array} $ | (31) |
同时,经承制方和使用方共同确定,承制方要求值p0=0.95,使用方要求值p1=0.90,双方风险值α=β=0.1,以及本文为实现三参数空间的Bayes序贯决策需提供的接受假设Hi(i=0, 1, 2)时的误判风险接受值αHi=0.1。
待验证飞控系统的先验信息为:①统计现阶段实际试验数据,20次故障检测试验中,未能成功检测故障1次,即成败型试验信息为(20, 1);②3位专家以单侧置信下限形式对测试性水平进行评估,得到置信γ2=0.9时的专家信息分别为(
根据式(15)和式(21),可以得到辨识框架Θ上的各先验信息的m函数如表 1所示。
1) 经典测试性验证方案。依据文献[21]可得测试性验证试验方案为(187, 13),实际的双方风险为α=0.087 4,β=0.098 1。
2) 传统Bayes测试性验证方案。确定先验分布为π(p)=Beta(p; 46.8, 2.4),依据文献[22]可得传统Bayes验证试验方案为(66, 4),实际的双方风险为α=0.069 7,β=0.096 2。
4.2.2 序贯类测试性验证方案本文对飞控系统进行了2次模拟仿真验证试验,以所有方案均作出判决则停止验证试验为准则,得到各序贯类试验的试验次数,以及对应的检测失败数。
1) SPRT测试性验证方案。根据文献[23],计算得到阈值上界ASPRT=9,阈值下界BSPRT=1/9,2次模拟仿真验证如图 1所示。
2) SPOT测试性验证方案。先验分布即为π(p)=Beta(p; 46.8, 2.4),根据文献[24]计算得到阈值上界ASPOT=79.948 7,阈值下界BSPOT=0.060 9。2次模拟仿真验证亦如图 1所示。
3) 本文方案。决策阈值为A0=A1=A2=1/9,从决策因子角度给出了序贯验证过程如图 2(a)和图 2(b)所示,图中分别给出了不融合先验信息、只融合成败型信息、只融合专家信息以及同时融合成败型信息和专家信息的序贯决策曲线,同时也从后验概率分布角度给出了序贯决策过程,如图 2(c)和图 2(d)所示。
不同序贯类方案2次测试性验证试验决策情况如表 2所示。
序贯方案 | (验证试验次数, 检测隔离情况) | 决策结果 | ||
第1次验证试验 | 第2次验证试验 | |||
SPRT方案 | (41, 0) | (55, 1) | 均接受假设H0 | |
SPOT方案 | (23, 0) | (40, 1) | ||
优化DS-SPOT方案 | 未融合先验信息 | (40, 0) | (68, 1) | |
融合成败型信息 | (29, 0) | (56, 1) | ||
融合专家信息 | (28, 0) | (55, 1) | ||
融合成败型和专家信息 | (18, 0) | (18, 0) |
1) 结合表 2的序贯决策结果,分析图 1(a)和图 2(a)可得,不融合先验信息的优化DS-SPOT序贯方案实际所需的样本量,比SPRT方案略少,而多于SPOT方案,3种序贯方案均优于固定抽样方案,且均接受H0:p≥p0的决策。
2) 分析图 1(b)和图 2(b)可得,不融合先验信息的优化DS-SPOT方案较之SPOT方案需要相对较多的样本量,这是由于本文方案从后验概率来描述决策过程,其作出决策时后验概率为0.901 7,而传统SPOT方案作出决策时后验概率为0.758 9,从后验概率而言本文方法更容易得到使用方的认可。
3) 从图 2(a)和图 2(b)中可以反映出通过证据理论融合专家经验信息和成败型信息后优化DS-SPOT方案均能在一定程度上减少试验所需的样本量,说明专家信息和成败型信息支持接受对假设H0的决策,且同时融合专家信息和成败型信息实际所需序贯样本量更小,2次验证试验所需样本量均优于SPOT方案、SPRT方案。同时,图 2(a)和图 2(b)还反映出通过专家信息和成败型信息融合后所需样本量相当,表明二者对于接受对假设H0的决策具备相当的支持度。
4) 图 2(c)和图 2(d)从后验概率的角度给出了优化DS-SPOT方法的序贯决策过程,表明作出决策时后验概率的取值情况,便于决策者基于“小概率原理”进行相应的决策判断。
可见,本文所提优化DS-SPOT方案,一方面能很好地融合专家信息和成败型信息,相应地减少试验样本量,另一方面能从后验概率的角度作出决策,解决了传统SPOT方法作出决策时后验概率可能不大而使决策难以得到认可的不足。
4.3 平均样本量上述对飞控系统的2次模拟仿真验证试验以实例的形式表明了优化方案的有效性,为了从一般层面上验证所提方案的有效性,选用序贯类验证试验的度量指标—平均样本量(ASN),对所提方案进行分析。为了保证不同方法ASN比较的合理性,首先应对方法的抽样特性进行比较,在抽样特性接近的情况下开展ASN的比较。经典验证方案和传统Bayes验证方案是基于二项分布模型的,具备相同抽样特性函数[12],可据此绘制抽样特性曲线。SPRT方案抽样特性和平均样本量的图形绘制可通过文献[25]给出的解析公式进行绘制,而SPOT方案和本文方案的抽样特性和平均样本量不具备解析解,采用Monte Carlo仿真的方式进行,具体如下:
步骤1 将测试性指标划p划分为1 000个离散测试性水平值pi=0.001×i, i=1, 2, …, 1 000。
步骤2 对于划分的1 000个离散测试性水平值进行N次判决过程试验。当测试性水平离散值取为pi时,以概率pi随机生成成败型试验数据,在第j(j=1, 2, …, N)次仿真过程中,可得到作出决策的试验次数为Nij,对应的检测失败次数为Cij(对于SPOT方案而言决策即为接受或拒收,对于本文方案而言决策为判断属于假设H0,H1或者是H2);同时,作出决策且判断为接收时,则pi对应的接收判决次数Tij相应加1。
步骤3 当测试性水平取值为pi时,对应的抽样特性OCi、平均抽样次数ASNi和平均检测失败次数ACi可表示为
$ \left\{ \begin{array}{l} {\rm{O}}{{\rm{C}}_i} = \frac{{\sum\limits_{j = 1}^N {{T_{ij}}} }}{N}\\ {\rm{AS}}{{\rm{N}}_i} = \frac{{\sum\limits_{j = 1}^N {{N_{ij}}} }}{N}\\ {\rm{A}}{{\rm{C}}_i} = \frac{{\sum\limits_{j = 1}^N {{C_{ij}}} }}{N} \end{array} \right. $ | (32) |
事实上,SPOT方案和本文方案可能存在验证试验无法决策的情况,此时需要对试验方案进行截尾,本文均选用固定截尾NT=100,当样本量达到100而无法进行决策时,2种方法均根据后验概率进行决策,选择不同假设中后验概率较大者作为最终决策。
通过上述步骤和约定截尾措施,得到SPRT方案、SPOT方案以及本文方案的抽样特性、平均样本量和检测失败次数对比曲线如图 3~图 5所示(本文采用1:5:1 000的间隔步长进行绘图,避免数据点密集而图形辨识度不足的问题)。
1) 由于在整个FDR的取值区间[0, 1]上,几种不同方法的OC值大多为0,为使对比更明显,图 3仅显示了[0.6, 1]区间内的抽样特性曲线。以经典验证方案的抽样特性曲线为参考,其余不同方案得到的抽样特性曲线相对接近。通过图 3中[0.95, 1]区间的局部放大图,且图 3反映出在相同FDR取值pi下,未融合优化DS-SPOT方案OC值较之经典验证方案OC值差距相对最大,但融合专家和成败型信息方案的OC值与经典验证方案OC值更为接近,这是由于融合信息会增加作出正确决策Tij的次数,故相应的OC值会增加。
2) 图 4和图 5中给出了区间[0.95, 1]的局部放大图,可以看出在该区间内融合专家信息、融合成败型信息以及同时融合专家信息和成败型信息的优化DS-SPOT方案较之未融合的方案而言具备更小的平均样本量和检测失败次数,同时通过计算当前平均样本量下的后验概率π(Hi|(ASN, AC))(i=0, 1, 2),总有后验概率π(H0|(ASN, AC))最大,且满足本文设计的序贯决策要求,表明了先验信息对于决策H0具备支持作用,融合能减少接受假设H0的平均样本量。
3) 无论是从平均样本量角度还是从平均检测失败数角度而言,单独融合成败型信息和单独融合专家信息在接受假设H1和H2时(区间范围为(0, 0.95)),可能具备比不融合方案更多的平均样本量和检测失败数,这是由于专家信息和成败型信息是支持决策H0的,显然如果要支持对H1和H2的决策则必然需要更多的样本量,符合实际情况。同时,比较融合成败型信息的优化方案和融合专家信息的优化方案,从图 4中反映出融合专家信息的优化方案较之融合成败型信息的优化方案具备相对较少的平均样本量,这说明专家信息对决策H0的支持度要高于成败型信息,这一点从图 5平均检验失败数也能得到印证,支持度高的方案等同于验证试验开展前提供了相应的较多的检测成功次数,如果要接受假设H2,则必然需要更多的检测失败数。
4) 同时融合专家信息和融合成败型信息的优化方案具备比仅融合专家信息、仅融合成败型信息以及不融合先验信息方案更少的平均样本量和平均检测失败次数。在决策域H1和H2上(区间范围为(0, 0.95)),通过计算后验概率π(Hi|(ASN, AC)),同时融合两者可能会使得π(H1|(n, c))≥1-αH1,即判定给模糊参数空间H1,并能从“小概率事件原理”进行合理解释,说明装备测试性水平仍有待提升。这也是造成融合专家信息和成败型信息后,对于接受假设H0的支持度提高,而在决策域H1和H2上平均样本量和平均检测失败次数却减少的原因。
5) 由于先验信息对于决策H0的支持,通过对比分析区间[0.95, 1]上本文融合先验信息的优化方案和SPRT方案、SPOT方案,从图 4、图 5来看,不融合先验信息的优化方案不一定具备比SPRT方案和SPOT方案更少的平均样本量,但是具备更小的后验概率,能基于后验概率以及“小概率事件原理”进行决策,同时融合先验信息能很大程度上减少平均样本量和平均检测失败次数,当FDR指标值越高,同时融合专家信息和成败型信息的优化DS-SPOT方案具备比SPRT方案、SPOT方案更小的平均样本量。
6) 分析3种不同融合方式的曲线,能反映出先验信息对于决策H0的支持度越高,则所需平均样本量和平均检测失败数越小。由此可见,优化DS-SPOT方案所需平均样本量与先验信息对于决策Hi的支持程度有关,如果先验信息支持作出决策Hi,则所属决策域所需平均样本量相对会减少,能帮助测试性验证试验更快的进行决策判断,缩短验证周期以及控制验证成本。
5 结论基于对SPOT测试性验证方案中模糊参数空间的考虑不足以及未能充分利用研制阶段多源先验信息的问题,本文提出了一种基于优化DS-SPOT的测试性验证方案,具备以下优点:
1) 考虑了假设检验问题中的模糊参数空间,不再是简单的接收/拒收判决,决策给出测试性指标实际所在的参数空间,为承制方和使用方提供更合理的参考依据;考虑了研制阶段的多源先验信息,通过证据理论对其进行融合,使得装备研制阶段存在的测试性研制信息得到合理的运用。
2) 与固定抽样方案相比,融合先验信息的优化DS-SPOT方案能根据实际序贯过程进行判决,且具备比固定抽样方案小的平均样本量;与序贯类测试性验证方案相比,能充分融合多源信息,在先验信息支持决策的参数空间内具备比SPRT、SPOT方案相对较小的平均样本量。
3) 随着先验信息对所支持决策的参数空间的支持度提高,相应的平均样本量相应减小。
可见,本文所提方案能充分融合多源先验信息以及考虑承制方和使用方测试性指标间的模糊参数空间,一方面能有效减少验证试验所需样本量,另一方面能为承制方和使用方提供更加科学、合理的决策结果。
但是,除了文中进行讨论的研究点外,仍有一些问题需要进行进一步的研究:
1) 由于序贯试验的随机性,序贯方案的最大样本量可能无法有效控制,本文给出的固定截尾方案是一种有效形式,但同时也会造成决策风险,下一步应当在控制风险的前提下研究更为合理有效的截尾措施。
2) 先验信息的运用是优化DS-SPOT方案的关键一环,准确的先验信息有助于提高决策判定的可信度,现有文献对先验信息可信度的研究比较多,但不够系统。因此有必要开展先验信息纳入体系的研究,以保证先验信息来源和使用的合理性、准确性和便捷性。
[1] |
满军.基于Bayes小子样理论的多源信息融合方法研究[D].长沙: 国防科技大学, 2005: 1-11. MAN J. Research on multi-source information fusion method based on Bayes small sample theory[D]. Changsha: National University of Defense Technology, 2005: 1-11(in Chinese). |
Cited By in Cnki (10) | Click to display the text | |
[2] |
邓露, 许爱强, 席靓, 等. 基于多源信息加权融合的研制阶段测试性评估方法[J]. 计算机测量与控制, 2014, 22(8): 2508-2511. DENG L, XU A Q, XI L, et al. Testability evaluation method based on multi-source information weighted fusion in development phase[J]. Computer Measurement & Control, 2014, 22(8): 2508-2511. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[3] |
邢云燕, 武小悦. 可靠性增长下的Bayes序贯检验方法[J]. 航空动力学报, 2010, 25(10): 2201-2205. XING Y Y, WU X Y. Bayesian sequential testing in reliability growth case[J]. Journal of Aerospace Power, 2010, 25(10): 2201-2205. (in Chinese) |
Cited By in Cnki (1) | Click to display the text | |
[4] |
徐廷学, 刘勇, 赵建忠, 等. 维修性先验信息的融合方法[J]. 系统工程与电子技术, 2014, 36(9): 1887-1892. XU T X, LIU Y, ZHAO J Z, et al. Fusion method of prior maintainability information[J]. System Engineering and Electronics, 2014, 36(9): 1887-1892. (in Chinese) |
Cited By in Cnki (4) | Click to display the text | |
[5] |
李天梅, 邱静, 刘冠军. 基于Bayes变动统计理论的测试性外场统计验证方法[J]. 航空学报, 2010, 31(2): 335-341. LI T M, QIU J, LIU G J. Research on testability field statistics verification based on bayes inference theory of dynamic population[J]. Acta Aeronautica et Astronautica Sinica, 2010, 31(2): 335-341. (in Chinese) |
Cited By in Cnki (18) | Click to display the text | |
[6] |
雷华军, 秦开宇. 确定测试性验证试验方案的贝叶斯方法[J]. 系统工程与电子技术, 2012, 34(12): 2612-2616. LEI H J, QIN K Y. Bayesian method for determination of testability demonstration test scheme[J]. System Engineering and Electronics, 2012, 34(12): 2612-2616. (in Chinese) |
Cited By in Cnki (9) | Click to display the text | |
[7] |
马涛, 鞠成玉. 基于Bayes理论的测试性数据融合评估技术[J]. 火力与指挥控制, 2017, 42(8): 183-185. MA T, JU C Y. A data gusion method for testability evaluation based on Bayes theory[J]. Firre Control & Command Control, 2017, 42(8): 183-185. (in Chinese) |
Cited By in Cnki | Click to display the text | |
[8] |
刘琦, 王囡. 基于验后概率的Bayesian序贯方差检验技术(Ⅰ)[J]. 航空动力学报, 2011, 26(7): 1531-1536. LIU Q, WANG N. Bayesian sequential variance test technique based on posterior probability (Ⅰ)[J]. Journal of Aerospace Power, 2011, 26(7): 1531-1536. (in Chinese) |
Cited By in Cnki (6) | Click to display the text | |
[9] | LI J, SHEN L, ZHAO L. Success ratio sequential test plan using development test data[C]//IEEE 20098th International Conference on Reliability, Maintainability and Safety. Piscataway, NJ: IEEE Press, 2009: 370-373. |
[10] |
金振中. 二项分布的Bayes截尾序贯检验方法及其应用[J]. 战术导弹技术, 1996(1): 21-27. JIN Z Z. Bayes cutting sequential test method of binomial distribution and its application[J]. Tactical Missile Technology, 1996(1): 21-27. (in Chinese) |
Cited By in Cnki (3) | Click to display the text | |
[11] |
张金槐. 利用验前信息的一种序贯检验方法-序贯验后加权检验方法[J]. 国防科技大学学报, 1991(2): 1-13. ZHANG J H. A sequential testing method with prior information-sequential posterior weighted testing method (SPOT method)[J]. Journal of National University of Defense Technology, 1991(2): 1-13. (in Chinese) |
Cited By in Cnki (25) | Click to display the text | |
[12] | WANG C, QIU J, LIU G, et al. Testability demonstration test planning based on sequential posterior odds test method[J]. Proceedings of the Institution of Mechanical Engineers, Part O:Journal of Risk and Reliability, 2013, 228(2): 189-199. |
Click to display the text | |
[13] |
王雪峥. 二项分布下的MSPOT方法研究[J]. 遥测遥控, 2015, 6(6): 70-75. WANG X Z. Research on multi3hypothesis sequential posterior odd test for binomial distribution[J]. Journal of Telemetry, Tracking and Command, 2015, 6: 70-75. (in Chinese) |
Cited By in Cnki (1) | Click to display the text | |
[14] | BAUM C W, VEERAVALLI V V. A sequential procedure for multihypothesis testing[J]. IEEE Transactions on Information Theory, 1994, 40(6): 1994-2007. |
Click to display the text | |
[15] |
刘琦, 王囡, 唐旻. 成败型产品基于验后概率的Bayes序贯检验技术[J]. 航空动力学报, 2013, 28(3): 494-500. LIU Q, WANG N, TANG M. Bayes sequential test technique for binomial product based on posterior probability[J]. Journal of Aerospace Power, 2013, 28(3): 494-500. (in Chinese) |
Cited By in Cnki (2) | Click to display the text | |
[16] | LI X R, LI X B. Common fallacies in applying hypothesis testing[C]//Proceedings of the 11th International Conference on Information Fusion. Piscataway, NJ: IEEE Press, 2008: 1-8. |
[17] |
孙锐.基于D-S证据理论的信息融合及在可靠性数据处理中的应用研究[D].成都: 电子科技大学, 2012: 17-62. SUN R. Researche on D-S evidence theory based information fusion and its application in reliability data processing[D]. Chengdu: University of Electronic Science and Technology of China, 2012: 17-62(in Chinese). |
[18] |
王京, 李天梅, 何华锋, 等. 多源测试性综合评估数据等效折合模型与方法研究[J]. 兵工学报, 2017, 38(1): 151-159. WANG J, LI T M, HE H F, et al. Research on multi-source data equivalent methods for testability integrated evaluation[J]. Acta Armanmentarii, 2017, 38(1): 151-159. (in Chinese) |
Cited By in Cnki (2) | Click to display the text | |
[19] | HART L. Reliability of modified designs:A Bayes analysis of an accelerated test of electronic assemblies[J]. IEEE Transactions on Reliability, 1990, 39(2): 140-144. |
Click to display the text | |
[20] |
徐林生, 王执铨, 戴跃伟. 评审专家可信度评价模型及应用[J]. 南京理工大学学报(自然科学版), 2010, 34(1): 30-34. XU L S, WANG Z Q, DAI Y W. Expert's credibility model and evaluation method[J]. Journal of Nanjing University of Science and Technology(Natural Science), 2010, 34(1): 30-34. (in Chinese) |
Cited By in Cnki (24) | Click to display the text | |
[21] |
徐忠伟, 周玉芬, 徐松涛, 等. 测试性验证中抽样方案的精确算法及应用[J]. 航空学报, 2000, 21(1): 68-70. XU Z W, ZHOU Y F, XU S T, et al. Accurate algorithm of sampling plan & its application in testability demonstration[J]. Acta Aeronautica et Astronautica Sinica, 2000, 21(1): 68-70. (in Chinese) |
Cited By in Cnki (20) | Click to display the text | |
[22] |
张西山, 黄考利, 闫鹏程, 等. 基于验前信息的测试性验证试验方案确定方法[J]. 北京航空航天大学学报, 2015, 41(8): 1505-1512. ZHANG X S, HUANG K L, YANG P C, et al. Method of confirming testability verification test scheme based on prior information[J]. Journal of Beijing University of Aeronautic and Astronautic, 2015, 41(8): 1505-1512. (in Chinese) |
Cited By in Cnki (1) | Click to display the text | |
[23] |
余闯, 王晓红, 李秋茜. 计数型序贯截尾试验方案的计算与选择[J]. 北京航空航天大学学报, 2014, 40(4): 575-578. YU C, WANG X H, LI Q Q. Calculation and selection of sequentially truncated test scheme[J]. Journal of Beijing University of Aeronautic and Astronautic, 2014, 40(4): 575-578. (in Chinese) |
Cited By in Cnki (2) | Click to display the text | |
[24] |
王超.虚实结合的测试性试验与综合评估技术[D].长沙: 国防科技大学, 2014: 56-80. WANG C. Testability test and integrated evaluation technology with virtual-physical test[D]. Changsha: National University of Defense Technology, 2014: 56-80(in Chinese). |
Cited By in Cnki | Click to display the text | |
[25] | WALD A. Sequential tests of statistical hypotheses[J]. Annals of Mathematical Statistics, 1945, 16(2): 117-186. |
Click to display the text |