首页/文章/ 详情

不纠结于因果,不止步于相关

3年前浏览255

“是相关不是因果”是大数据分析的经典说法。但到了工业场景,可靠性要求“一定要有因果”。面对这个矛盾,我提出“不纠结于因果”:要从原理上给出因果解释,但不一定要用数据证明因果性。这样既发挥大数据的优势,又避免分析太难。

 

今天给某MBA班上课时,和一位同学进行了讨论。所以,我想把这个说法丰富一下:不纠结于因果,不止步于相关。

 

加上后半句的目的,是承认相关性对工业大数据分析的价值:为发现真相提供线索。相关性的线索就像福尔摩斯发现的蛛丝马迹,本身往往不是我们想要的东西。但它却能帮助我们引出真相。

 

在十多年前,我研究数据建模时提出过这样的观点:在工业界,原理往往是清晰的——我们缺少的是变量和参数。

 

具体地说:机理模型(y=f(x))是知道的,但关键变量(x)却是不知道的。现实工业建模时,要用那些能够获知的变量(z),来建立现实的模型(y=H(z) )。这样的模型之所以能用,是因为可测变量(z)与真实变量(x)存在关联。

 

这个思想同样可以用在根因分析。

 

 进行根因分析时,先从大量的数据中海选出与事件(y)具有相关性的变量(z)。然后在进一步分析,这些变量背后真正起作用的因素(x)是什么。这样的例子非常多。

 

20多年前,宝钢同事就发现:自行车用钢的合格率与班组有关。“班组”就是具有相关性的变量(z)。但这个变量不是真正起作用的变量。真正起作用的变量是这个班采用的、钢板的平整量(x)。10多年前我们也发现,钢材的性能与季节(z)有关:其实则是与气温(y)有关。今天班上同学说质量与时间、日期有关,其实是与人的工作状态有关。

 

所以,即便是在工业场景中,相关性也能给我们有用的线索。但是,我们的分析不能止步于相关性、去发现真实的因果关系。当然,要往前走的这一步,仍然需要人专业的知识:因果是数据之外的知识提供的。

来源:蝈蝈创新随笔
通用科普
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2023-07-22
最近编辑:3年前
蝈蝈创新随笔
只是把思考的日志搬运,不当之处...
获赞 97粉丝 19文章 1159课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈