前面几篇讲的是同一个问题:样本不够的时候,怎么算得动。
Polynomial SVD 用 20 个点摸趋势,Stepwise 自动砍掉没用的项,Parametric Surfaces 让你把物理公式写进去。三个都是逼近型:不要求曲面穿过每个点,靠“整体最像”兜住。
但工程上还有另一种局面:样本管够。
做完一轮 DOE,数据库里躺着两千个设计点;或者接手别人跑了半年的项目,Session 表几万行。这时候你不需要省样本,你需要一个便宜、即插即用、而且严格穿过每个数据点的插值器。
Shepard 和 k-Nearest 就是干这个的。
便宜是真的,穿过每个点也是真的。但有个问题。一条已知有峰的曲线,采样点没落在峰上,插值结果出来,峰没了——比左右两个采样点还低。
真峰值 4.0,它给 3.30,少了 17.5%。
软件没写错。是加权平均这个结构本身决定的。
别的响应面要解方程、调参数、反复迭代。Shepard 只做三件事:
官方文档写得很直白:the training is not required。不用训练,所以便宜。
便宜到什么程度?技术报告给了一组基准,10 万点的数据集:
注意最后一行。同一个待测点,k 从 10 拉到 10 万,耗时涨了1300 倍。
原因不复杂:k-Nearest 每次预测都要先排序找最近的 k 个点,排序成本是 O(n log n)。k 小的时候这笔开销可以忽略,k 大到 n 就等于每次都全排序。
所以 k 别拉满,适中就够。
这类方法有个通用名字:反距离加权(IDW,Inverse Distance Weighting)。Shepard 和 k-Nearest 都是它的变体。
公式本身很短:
预测值 = 各训练点输出值的加权平均,权重与距离的 p 次方成反比。
写成三步更清楚:
第一步,算原始影响力:r = 1 / d^p
第二步,归一化:w = r / Σr
第三步,加权求和:s = Σ w · y
第二步最容易漏。不除以 Σr,点越多总和越大,预测值会跟着样本量一起膨胀,插值就不成立了。
补一个小例子,三个点,p=2,待测点取 (1,1):
权重加起来正好 1.000,预测值 0.625×10 + 0.250×20 + 0.125×30 = 15.0。
15.0 落在 10 和 30 之间。这个细节后面会变成大问题,先记住。
它能“精确穿过每个数据点”,还是归一化的事。待测点如果正好落在某个训练点上,那个点的距离是 0,原始影响力趋于无穷大,归一化之后自己变成 1,其余全变 0。预测值就等于该点的真实值。
所谓插值,其实是距离为零让权重自动变成 1。
同一个公式,官方给了三个版本。数学完全一样,区别只在取哪些点。
在软件里它归在 statistical(统计类)RSM 下,Algorithm type 里选 Shepard、K-Nearest 或 Mollifier Shepard。
用 k-Nearest 有一个容易踩的坑:训练集必须大于等于 k。k 设成 200、样本只有 150 个,直接报错。
跑到数据范围之外,三者也不一样:
Shepard
k-Nearest
Mollifier
这个差异后面讲“假梯度”时还要用到。不过 Mollifier 那条要留个心眼:它是技术报告里的写法,软件实现有没有额外补归一化,官方没细说,用之前建议实测一次远端行为。
默认值官方已经调好了,一般来说不用动:
理由是样本太大时全局 Shepard 算不动。这个兜底挺省心,但也意味着你选的东西可能被悄悄改掉。跑完回头看一眼 Function Log 里记的算法和参数。
p 叫反距离指数,住在权重公式的指数上。
它的作用是控制“距离惩罚的力度”。距离每拉远一点,这个点的话语权按 1/d^p 缩水。
数字感受最直接。以距离 = 1 时权重为 1,看距离拉远后还剩多少:
距离翻倍到 2,p=1 的邻居还剩一半话语权,p=2 只剩四分之一,p=5 只剩 3%。
p 越大,曲面越只听最近邻的话。
官方推荐 p=2。这个值不是随便取的:
所以 2 不是拍脑袋定的,它是“既平又干净”的那个点。
文档里有一处表述看着像打架。
官方 NOTE 说“p 越小,曲面越粗糙坑洼”,技术报告的图注却说“p 增大时函数变平”。一个说小、一个说大。
其实是一件事。我拿五个点(y 依次 0,1,0,1,0)算过,在靠近某个数据点的位置(x=0.3)取值:
p=1 给 0.300,p=2 给 0.159,p=5 给 0.014。
p 越大,曲线越“黏”在数据点上,平台越宽,看起来就越平;但平台之间是陡跳。p 越小则没有平台,全程起伏。
同一现象的两种描述,不是矛盾。拿不准就用 2。
常见的一个误解:样本范围外的点,找最近几个邻居照样能算,所以不能说它不能外推。
能算。但算出来的值延展不了趋势,这两件事得分开。
权重全都大于等于 0,加起来等于 1,这叫凸组合。
凸组合的结果,必然落在参与运算的那些值的最小值与最大值之间。k 取 10 也好、1000 也好、甚至等于全部点,这条都成立。k 只决定“用哪几个点做平均”,改变不了“平均必在范围内”。
技术报告的原文用了 (inter, extra)-polated 这个词,把外推区也明确包进去了。
五个抛物线采样点,值域 [0,4],均值 2.0。看采样范围外 t=5 处各方法给什么:
多项式顺着斜率一路冲出去,冲到 −5,明显离谱。
Shepard 和 k-Nearest 被夹在 [0,4] 里,看起来“安全”。
注意那两个 0.94 和 0.88——它们不是停在边界值 0 上,而是在朝平均值 2.0 爬:0 → 0.94 → … → 2.0。
边界处真实值是 0,响应面却显示“越往外越大”。这是一条假梯度。
如果优化器被允许跑出 DOE 范围,它会顺着这条假趋势,一路被引诱到没有数据的区域去“找更优解”。
多项式的问题是“暴走”,Shepard 的问题是“骗你走过去”。后者更阴,因为结果看起来始终在合理范围内。
用 Shepard / k-Nearest 时,变量上下界必须严格等于 DOE 覆盖范围。
因为这类模型结构上就不可能提示你“最优解在采样区外面”。它只会给你一个看起来合理的数。
真想外推,得换算法:Parametric Surfaces 能把物理公式写进去,顺着公式往外推,是最“科学”的外推方式;Polynomial SVD 和 Stepwise 也能外推,但经常外推得离谱,上面那个 −5 就是例子。
Kriging 也是插值型,同样不能真正外推。
技术报告自己把它列为最严重的缺陷:
Maybe the most relevant and probably the worst drawback of this method is the lowering of maxima and rising of minima.
翻译过来:降低极大值,抬高极小值。中文里有个更形象的词,削峰填谷。
一条抛物线,在 t=2 处峰值是 4.0。
现在取 8 个采样点做 Shepard 插值(p=2),恰好没有采到峰值那个位置。
结果:
| 3.30 |
峰值不但没算到 4.0,反而比左右两个邻居还低。
峰,被算成了谷。
加权平均是一个收缩操作。
它永远只会把极值往中间拉,不可能给出比样本更极端的值。这是凸组合的直接后果,和 p 取多少、k 取多少都没关系。
一维问题最严重,因为峰值两侧的邻居都在往里拉,没有别的方向可以“补”回来。高维会缓解一些:邻居分散在更多方向上,某个方向的峰被其他方向的点稀释得慢一点,但性质不变。
优化的核心就是找极值。
响应面一旦削峰,优化器看到的就不是原来的地形了。它会认为“极值不在这附近”,然后转向别处,最后给你一个平庸但“看起来最优”的解。
技术报告自己也点了这一句:this feature is crucial for seeking of extrema purposes。
如果这个响应面还要驱动优化器(比如 MOGA-II),那就是双重误导:削峰让它错过采样区内的真极值,假梯度把它骗向采样区外的无效区域。
还有一点实践上的麻烦:它的 Function Log 只记你选了什么变量、用了什么参数,不给 R²,也不给误差指标。所以没法像用 Polynomial SVD 那样,看一眼日志就知道模型靠不靠谱。
要判断它准不准,只能自己做验证:留一批没参与训练的点,跑一遍,把预测值和真实值摆在一起看。
它是“大样本 + 快速看形状”的工具,不是“找最优”的工具。
用错场景,它比没有更糟——因为它给出的结果看起来很合理。
四篇下来,四个算法各管一段:
规律很清楚:逼近型擅长“少样本看趋势”,插值型擅长“多样本穿点”。而插值型几乎都带着同一个毛病:不能外推、极值会被压。
下一篇讲 Kriging。它是插值型里的高精度代表,也是少数能把预测误差一起给你的算法。不过它同样不能外推,这点和本篇一样。
速查:Shepard / k-Nearest