大数据真的那么神奇吗

您好,大数据虽然确实会很大程度帮助我们预计未来发展情况,但是如果在数据采集或者统计时出现错误的后果也是不堪设想的,就像林肯总统竞选的统计就是完全片面的,我们要如何尽可能避免这一问题

你好。
你说的这个问题是目前大数据产业中最为艰难的一个部分,所以也有人戏称大数据就是“算命”。
就目前的就业状况而言,不仅是国内,世界范围内都缺乏真正懂得分析的人员,不是说一个没有是实在太少了,和现在大数据产业的客观需求相差悬殊。
在大数据分析中其实是有方法论可以遵循的,换句话说是有指导思想对数据分析的可靠性进行证明和证伪的。比如抽样后训练后的再验算勘验召回率和准确率,这本身就是一种“可应验”性的检验行为。而很多分析人员对这个环节不够重视,或出于工期考虑,或出于迎合某些人观点的考虑,穿凿附会地进行“分析”,这种结果是一种非客观的且很可能不可应验的。
所以,我认为这个问题还是要回到对数据本身的认知角度来看,能够找到概率佐证的可以做结论,不能找到的宁可说无法判断也不要武断地作出不负责任的分析结果。这是一个分析人员的素养,也是职业道德。