在某次工业大数据分析竞赛中,我和某位著名学者共同做评委。他点评一个项目说:领域知识和数据分析两个手段要平衡。对此,我不太赞同:不是要平衡,而是领域知识在数据分析过程的应用越深越好。其实,领域知识的深入应用代表充分发挥“人”的作用。
最近,常把工业大数据分析的原则总结为“以人为中心”:借鉴人的知识、发挥人的优势、弥补人的短板、专注人的盲点。
要理解这个说法,先要说明一个道理:一般来说,不要把现实中的数据分析当成读书时做数学题目。一般来说,读书时的题目都符合这个特点:已知是明确的、要求是清晰的、问题是有解的。但是,实际的数据分析不是这样!做实际问题的时候,最困难的是要把用户模糊的需求,转化成合适的数据分析问题:让问题变得清晰、变得尽可能有解、变得价值尽可能大。现实中,正确的转化未必容易。转化好了才是“做正确的事”。在此基础上才是“正确地做事”。问题定义阶段,就要“借鉴人的知识、发挥人的优势”:问题的重点在哪里?人是如何思考问题的?哪些做法是可行的?人是如何认识价值的.......定义问题阶段,尤其要借鉴人的知识、发挥人的优势。
数据分析的短板处在哪里?往往出现在人类出现“短板”和“盲点”的地方。这是因为:人类遇到问题了,才会来找你做数据分析。这也算是一种我前几天说的“幸存者偏差”吧。 知道了这个道理,问题定义才能到位,才利于找到解决问题的方法。
人的短处在哪里呢?简单举几个例子:
1、首先是人的认识模糊、数据的认识精确。数据分析定位在把人的认识清晰化、精确化,就可能会带来效益。
2、人的关注力有限。一般来说,人只能关注自己所负责的那一块。而实际的问题往往涉及到全流程。所以,针对流程很长的场景,往往容易发现价值。
3、人的记忆力和运算能力有限。这就是大数据能够发挥特长的地方。数据多了,用好以后比人更牛。
4、人类思考的盲点。人们常说:用数据说话。但这恰恰是个盲点——数据会说谎。数据说谎有很多种形式。针对这些容易导致人们出现错误的地方去分析,容易发现问题。
总之,“以人为本”往往体现在解决复杂问题的时候、复杂到问题的定义和诊断都很容易出错。这时,“防错”是第一位的。反之,如果问题本身非常明确、就是一个算法问题,也就体现不出来了。然而,实际问题往往比较复杂、不是书本上说的那样。