首页/文章/ 详情

RSM算法系列详解四:Shepard / k-Nearest

20分钟前浏览1

引子:这次样本管够

前面几篇讲的是同一个问题:样本不够的时候,怎么算得动。

Polynomial SVD 用 20 个点摸趋势,Stepwise 自动砍掉没用的项,Parametric Surfaces 让你把物理公式写进去。三个都是逼近型:不要求曲面穿过每个点,靠“整体最像”兜住。

但工程上还有另一种局面:样本管够。

做完一轮 DOE,数据库里躺着两千个设计点;或者接手别人跑了半年的项目,Session 表几万行。这时候你不需要省样本,你需要一个便宜、即插即用、而且严格穿过每个数据点的插值器。

Shepard 和 k-Nearest 就是干这个的。

便宜是真的,穿过每个点也是真的。但有个问题。一条已知有峰的曲线,采样点没落在峰上,插值结果出来,峰没了——比左右两个采样点还低。

真峰值 4.0,它给 3.30,少了 17.5%。

软件没写错。是加权平均这个结构本身决定的。


一、快在哪:不训练,只算距离

别的响应面要解方程、调参数、反复迭代。Shepard 只做三件事:

  1. 算待测点到每个训练点的距离
  2. 按距离的倒数加权
  3. 加权平均

官方文档写得很直白:the training is not required。不用训练,所以便宜。

便宜到什么程度?技术报告给了一组基准,10 万点的数据集:

方法    
耗时    
Shepard(全部点)    
79 ms    
Mollifier(半径 10%)    
51 ms    
k-Nearest(k=10)    
47 ms    
k-Nearest(k=10 万,即全部点)    
61231 ms    

注意最后一行。同一个待测点,k 从 10 拉到 10 万,耗时涨了1300 倍。

原因不复杂:k-Nearest 每次预测都要先排序找最近的 k 个点,排序成本是 O(n log n)。k 小的时候这笔开销可以忽略,k 大到 n 就等于每次都全排序。

所以 k 别拉满,适中就够。


二、反距离加权,和那个容易漏的归一化

这类方法有个通用名字:反距离加权(IDW,Inverse Distance Weighting)。Shepard 和 k-Nearest 都是它的变体。

公式本身很短:

预测值 = 各训练点输出值的加权平均,权重与距离的 p 次方成反比。

写成三步更清楚:

第一步,算原始影响力:r = 1 / d^p

第二步,归一化:w = r / Σr

第三步,加权求和:s = Σ w · y

第二步最容易漏。不除以 Σr,点越多总和越大,预测值会跟着样本量一起膨胀,插值就不成立了。

补一个小例子,三个点,p=2,待测点取 (1,1):

训练点    
坐标    
y    
权重 w    
P1    
(0,0)    
10    
0.625    
P2    
(3,0)    
20    
0.250    
P3    
(0,4)    
30    
0.125    

权重加起来正好 1.000,预测值 0.625×10 + 0.250×20 + 0.125×30 = 15.0。

15.0 落在 10 和 30 之间。这个细节后面会变成大问题,先记住。

它能“精确穿过每个数据点”,还是归一化的事。待测点如果正好落在某个训练点上,那个点的距离是 0,原始影响力趋于无穷大,归一化之后自己变成 1,其余全变 0。预测值就等于该点的真实值。

所谓插值,其实是距离为零让权重自动变成 1。


三、三个变体与默认值

同一个公式,官方给了三个版本。数学完全一样,区别只在取哪些点。

在软件里它归在 statistical(统计类)RSM 下,Algorithm type 里选 Shepard、K-Nearest 或 Mollifier Shepard。

变体    
用哪些点    
特点    
Shepard    
全部 n 个点    
全局,最平滑,大样本时慢    
k-Nearest    
最近的 k 个    
默认 k=10,局部,要排序    
Mollifier Shepard    
半径圆内的点    
免排序,但半径没选好会返回 0    

用 k-Nearest 有一个容易踩的坑:训练集必须大于等于 k。k 设成 200、样本只有 150 个,直接报错。

跑到数据范围之外,三者也不一样:

  • Shepard

     用全部点加权,跑得越远越接近所有 y 的平均值  
  • k-Nearest

     只用最近 k 个,跑远之后收敛到那 k 个邻居的平均值,不一定是全局均值  
  • Mollifier

     会收敛到 0——半径之外权重被乘没了,又没有重新归一化  

这个差异后面讲“假梯度”时还要用到。不过 Mollifier 那条要留个心眼:它是技术报告里的写法,软件实现有没有额外补归一化,官方没细说,用之前建议实测一次远端行为。

默认值官方已经调好了,一般来说不用动:

  • 默认算法是 k-Nearest,k = 10
  • k 的上限是 1000
  • 样本超过 25000 且你选了 Shepard,会自动切成 k-Nearest 并把 k 设成 1000
  • Mollifier 超过 30000 也一样处理

理由是样本太大时全局 Shepard 算不动。这个兜底挺省心,但也意味着你选的东西可能被悄悄改掉。跑完回头看一眼 Function Log 里记的算法和参数。


四、p:唯一的旋钮,默认 2

p 叫反距离指数,住在权重公式的指数上。

它的作用是控制“距离惩罚的力度”。距离每拉远一点,这个点的话语权按 1/d^p 缩水。

数字感受最直接。以距离 = 1 时权重为 1,看距离拉远后还剩多少:

距离    
p=1    
p=2    
p=5    
2    
0.500    
0.250    
0.031    
3    
0.333    
0.111    
0.004    
4    
0.250    
0.063    
0.001    

距离翻倍到 2,p=1 的邻居还剩一半话语权,p=2 只剩四分之一,p=5 只剩 3%。

p 越大,曲面越只听最近邻的话。

官方推荐 p=2。这个值不是随便取的:

  • p 必须大于 0,否则公式没意义
  • p 大于 1 时,数据点处导数为 0,曲线在每个采样点上都是平的,没有尖角
  • p 等于 2 是唯一让驻点非退化的值(Hessian 满秩),数学上最干净

所以 2 不是拍脑袋定的,它是“既平又干净”的那个点。

文档里有一处表述看着像打架。

官方 NOTE 说“p 越小,曲面越粗糙坑洼”,技术报告的图注却说“p 增大时函数变平”。一个说小、一个说大。

其实是一件事。我拿五个点(y 依次 0,1,0,1,0)算过,在靠近某个数据点的位置(x=0.3)取值:

p=1 给 0.300,p=2 给 0.159,p=5 给 0.014。

p 越大,曲线越“黏”在数据点上,平台越宽,看起来就越平;但平台之间是陡跳。p 越小则没有平台,全程起伏。

同一现象的两种描述,不是矛盾。拿不准就用 2。


五、不能外推,以及那个假梯度

常见的一个误解:样本范围外的点,找最近几个邻居照样能算,所以不能说它不能外推。

能算。但算出来的值延展不了趋势,这两件事得分开。

凸组合决定了范围

权重全都大于等于 0,加起来等于 1,这叫凸组合。

凸组合的结果,必然落在参与运算的那些值的最小值与最大值之间。k 取 10 也好、1000 也好、甚至等于全部点,这条都成立。k 只决定“用哪几个点做平均”,改变不了“平均必在范围内”。

技术报告的原文用了 (inter, extra)-polated 这个词,把外推区也明确包进去了。

五个点的实算

五个抛物线采样点,值域 [0,4],均值 2.0。看采样范围外 t=5 处各方法给什么:

方法    
t=5 处预测    
二次多项式    
−5.00    
Shepard(p=2)    
0.94    
k-Nearest(k=3)    
0.88    

多项式顺着斜率一路冲出去,冲到 −5,明显离谱。

Shepard 和 k-Nearest 被夹在 [0,4] 里,看起来“安全”。

假梯度

注意那两个 0.94 和 0.88——它们不是停在边界值 0 上,而是在朝平均值 2.0 爬:0 → 0.94 → … → 2.0。

边界处真实值是 0,响应面却显示“越往外越大”。这是一条假梯度。

如果优化器被允许跑出 DOE 范围,它会顺着这条假趋势,一路被引诱到没有数据的区域去“找更优解”。

多项式的问题是“暴走”,Shepard 的问题是“骗你走过去”。后者更阴,因为结果看起来始终在合理范围内。

一条硬规矩

用 Shepard / k-Nearest 时,变量上下界必须严格等于 DOE 覆盖范围。

因为这类模型结构上就不可能提示你“最优解在采样区外面”。它只会给你一个看起来合理的数。

真想外推,得换算法:Parametric Surfaces 能把物理公式写进去,顺着公式往外推,是最“科学”的外推方式;Polynomial SVD 和 Stepwise 也能外推,但经常外推得离谱,上面那个 −5 就是例子。

Kriging 也是插值型,同样不能真正外推。


六、削峰填谷

技术报告自己把它列为最严重的缺陷:

Maybe the most relevant and probably the worst drawback of this method is the lowering of maxima and rising of minima.

翻译过来:降低极大值,抬高极小值。中文里有个更形象的词,削峰填谷。

一个可复算的例子

一条抛物线,在 t=2 处峰值是 4.0。

现在取 8 个采样点做 Shepard 插值(p=2),恰好没有采到峰值那个位置。

结果:

位置    
值    
真实峰值(t=2)    
4.00    
相邻采样点    
3.75    
Shepard 给出的 t=2    
3.30

峰值不但没算到 4.0,反而比左右两个邻居还低。

峰,被算成了谷。

收缩操作

加权平均是一个收缩操作。

它永远只会把极值往中间拉,不可能给出比样本更极端的值。这是凸组合的直接后果,和 p 取多少、k 取多少都没关系。

一维问题最严重,因为峰值两侧的邻居都在往里拉,没有别的方向可以“补”回来。高维会缓解一些:邻居分散在更多方向上,某个方向的峰被其他方向的点稀释得慢一点,但性质不变。

对优化的影响

优化的核心就是找极值。

响应面一旦削峰,优化器看到的就不是原来的地形了。它会认为“极值不在这附近”,然后转向别处,最后给你一个平庸但“看起来最优”的解。

技术报告自己也点了这一句:this feature is crucial for seeking of extrema purposes。

如果这个响应面还要驱动优化器(比如 MOGA-II),那就是双重误导:削峰让它错过采样区内的真极值,假梯度把它骗向采样区外的无效区域。


七、适用边界

场景    
适合吗    
原因    
样本几千到几万,要便宜即用    
适合    
官方定位就是大样本    
只关心大致形状,要求穿过每个点    
适合    
插值型天然如此    
样本很少(几十个)    
不适合    
官方明说小样本信息量不足    
做极值寻优    
不要用    
削峰填谷是硬伤    
需要真正外推    
不要用    
结构上做不到    
需要高精度代理模型    
不要用    
换 Kriging、RBF    

还有一点实践上的麻烦:它的 Function Log 只记你选了什么变量、用了什么参数,不给 R²,也不给误差指标。所以没法像用 Polynomial SVD 那样,看一眼日志就知道模型靠不靠谱。

要判断它准不准,只能自己做验证:留一批没参与训练的点,跑一遍,把预测值和真实值摆在一起看。

它是“大样本 + 快速看形状”的工具,不是“找最优”的工具。

用错场景,它比没有更糟——因为它给出的结果看起来很合理。


尾声:它在系列里的位置

四篇下来,四个算法各管一段:

算法    
类型    
定位    
Polynomial SVD    
逼近    
不懂问题时的通用趋势探测器    
Stepwise    
逼近    
上面那个的自动挡    
Parametric Surfaces    
逼近    
懂物理关系时,给公式让它调参数    
Shepard / k-Nearest    
插值    
大样本、便宜、糙;不外推、会削峰    

规律很清楚:逼近型擅长“少样本看趋势”,插值型擅长“多样本穿点”。而插值型几乎都带着同一个毛病:不能外推、极值会被压。

下一篇讲 Kriging。它是插值型里的高精度代表,也是少数能把预测误差一起给你的算法。不过它同样不能外推,这点和本篇一样。


速查:Shepard / k-Nearest

  • 默认 k-Nearest,k=10;k 上限 1000;训练集必须 ≥ k
  • p 默认 2,必须大于 0
  • 样本 >25000(选 Shepard)或 >30000(选 Mollifier)会自动切成 k-Nearest,k=1000
  • 归一化内部自动做,不需要手动开
  • Function Log 不给 R²,判断好坏得自己做验证
  • 变量上下界必须等于 DOE 范围
  • 做极值优化时不要用

来源:艾迪捷
通用控制曲面
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-11-17
最近编辑:20分钟前
艾迪捷
MBD CAE解决方案专家
获赞 23粉丝 48文章 637课程 4
点赞
收藏
作者推荐
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈