泡茶的故事其实是个典型的“工艺优化”问题。我想用它描述工业过程优化、知识发现,以及领域知识在数据分析中的作用。
故事的过程
同样的茶叶,泡出的味道往往不好,只是偶尔有味道好的时候。怎么才能一直泡出好茶呢?我意识到:味道不错的时候,或者是在出差、或者是在宿舍。办公室里从来没有泡出好喝的茶叶。后来我想:绿茶一般应该用冷一点的水来泡;而办公室用的是个头大的保温杯,保温效果特别好。出差或在宿舍时,用瓷杯或或小杯,水冷却得较快。于是,我就想到一个办法:先在杯子里加点温水、再加入沸水泡茶,直接让水冷下来。试了几次,味道都不错。成功了!
理解工艺优化
这个问题,可以说是工业界典型的“工艺优化”的问题。“工艺优化”的特点和步骤,在小故事中充分体现:
1、发现优化空间。有差异才有优化空间。泡出的茶水时好时坏,这就是优化空间。因为我希望茶水的味道一直好。
2、初步寻找原因。初步寻找的原因一般是表面原因,目的只是给后来的工作找到突破口。我发现的初步原因是与地点有关:办公室就是不好。
3、深入挖掘原因:办公室和其他地方到底有什么不同。其实,可以发现的不同很多很多,但这些“不同”应该与泡茶的工艺有关。于是,我想到了水的温度和大的保温杯。
4、猜测解决方法:换杯子是一种办法,但却需要成本。改变冲水的方法简单易行。改变的办法,就是让水温低下来。
5、验证解决方法。试了几次,味道都不错;于是成功了。
理解知识发现
“工艺优化”可以进一步抽象为知识发现过程;而我们搞数据分析的,本质上就是做知识发现。
1、知识的本质。DIKW理论认为:知识是信息的关联。在这里,知识就是在“泡茶的方法”和“茶叶的味道”之间找到关联。
2、知识的作用。知识的作用是减少不确定性。“泡茶时好时坏”就是不确定性。
3、知识的发现。知识发现过程,其实是用“排除法”,把各种其他的“可能性”排除的过程。比如,茶叶不好、水质不好等等。
4、领域知识的作用。排除其他可能性之前,一定已经有了若干猜想、也就是被排除的对象。这些猜想,就是经验或者知识。没有领域知识,就没办法使用“排除法”。
5、深入推理。发现知识的过程是理论和实际结合的过程。理论就是通用性的知识,如泡绿茶需要较低的温度,就是通用的理论知识。要理论结合实际,还有对实际问题的了解,如所用的杯子、泡茶可用的水——它们对理论知识中的要素(温度)有影响。而要得到的知识,是用现有的手段解决现有的问题。如用已有的杯子和水来泡出好茶。所以,工厂要的知识不是抽象的知识、不是科学家做的事情,而是理论和具体的对象结合。
6、方法的猜测。理论和实践加在一起,往往还是一种猜测,只不过是可能性相对较大。
7、实践检验。最终把猜测确定下来,往往需要实践检验;实践就要实施。在工业界,实施是有代价的。经验知识领域知识多的人,只是猜测得准一些,检验起来容易、代价小一些。所以,高水平专家往往受欢迎。
对数据分析的启示:
假如能把泡茶的过程和数据,都用计算机记录下来。在没有领域知识的前提下,能通过数据和算法找到办法吗?现实中几乎是不可能的。为什么呢?因为可以找到的不同之处太多了,杯子不同、烧水机器不同、茶叶盒子不同、水质不同、泡茶的时间不同、用水的量不同.......(我们用的机理知识,知道长期高温泡的绿茶味道可能不好,是用实验之外的经验和知识得到的;而这些知识可以帮助我们聚焦)。这些不同被计算机发现出来,逐一去验证,工作量太大——如前所述,每次试验都是有代价的,如果试验和测试不能有效地聚焦,可能的试验次数就太多了,代价就太大了。
另外,从事工业大数据分析不要过度相信算法的神奇,要避免陷入“算命大师”陷阱:放在别人说的都很牛,自己就是做不好。其实,每个成功的人士喜欢发文宣传自己的成功,而失败的却不愿意多说。于是,在外人看来,小概率事件看起来像大概率事件。做数据分析的人,一定要明白这个道理。多一点领域知识才是王道。