最新新闻
我要投稿
联系电话:027-87592219/20/21转188
投稿邮箱:tb@e-works.net.cn
您所在的位置:首页 > 智讯 > 国内资讯

大数据分析的道理:雾霾天的故事

发布时间:2017-12-16 作者:郭朝晖 
关键字:雾霾天 
这几年,全国人民都知道北京的空气质量很差,来北京的朋友常说自己要到帝都吸霾去。今天早上,我看着郊外远方的群山想:今天的空气不错! 其实,我来北京的这三个月,感觉空气都不错。
    1
 
    这几年,全国人民都知道北京的空气质量很差,来北京的朋友常说自己要到帝都吸霾去。今天早上,我看着郊外远方的群山想:今天的空气不错! 其实,我来北京的这三个月,感觉空气都不错。
 
    此前,济南和哈尔滨的朋友常说:和北京相比,我们这里的空气差远了!而前些年北京空气污染的天数,比上海还要少。数据分析师的习惯之一就是时刻提醒自己:数据会撒谎!于是,我便开始了怀疑:
 
    一种撒谎的方式是“会哭的孩子有奶吃”,人们往往把呼声高和严重性混为一谈。北京污染的名声比济南、哈尔滨大多了,部分原因是京城的人有更多的话语权。于是,我在朋友圈发了一段话:北京的空气差,是不是因为北京的段子手和大腕太多了?很快,我的朋友圈里有了40多条回复:
 
    ·有朋友开玩笑说:这是你人品好,到了北京空气就好了。这个观点当然是错的。从数据分析师的角度看,这是混淆相关性和因果性。
 
    ·有朋友说:今天这个气温不足以产生雾霾。这个说法显然是片面的:因为三个月来有各种天气。
 
    ·有朋友说:三个月的时间短,数据还没法验证你的结论。换句话说,我的观察没有对比,不足以证明 “雾霾轻”的存在性。但马上就有人说了:过去雾霾是很重,去年银杏叶黄的时候,三天有两天雾霾。这等于说“雾霾轻”确实是个事实。但一个人的观点,可能有随机性。还好有更多人说:今年的雾霾天确实少了。也就是说:感觉“雾霾轻”的观点是“大概率事件”。于是,我们可以质疑,确定这是一个事实。
 
    ·有人说:可能是环保力度增大了吧?显然,污染治理与雾霾少是个有因果关系的猜测。这个猜测怎么来的呢?显然是根据已有领域知识得到的:而不是朋友本人通过测量实际排放和污染的关系得到的。
 
    ·“最近几个月,河北的钢铁厂减少了大量的产能”、“最近燃煤锅炉改成燃气了”。这些事实支撑了一种说法:污染排放确实大大减少了。
 
    ·“最近没有雾霾,主要是今年风大”。显然,这又是另外一种解释。在大数据分析时,往往会有不同的解释。这种解释挑战了“雾霾少是环保的结果”。
 
    ·“今年的风也不是特别大”。另一位朋友的观点,否定了“风大是雾霾少的原因”。但这个观点本身是不是靠的住呢?要严格证明,就要找到几年来刮风的历史进行对比....其实,如果这样不断地质询下去,要严格证明一个结论,要花很大的代价。
 
    到此为止,我想用这个案例说说大数据分析的一些道理:
 
    数据分析的过程,其实是一个不断提出假设、不断进行验证或者修订的过程。修订和验证的原因,是因为存在很多种不同的解释。但是,要用数据严格证明一个结论,是非常难的,常常需要利用领域知识。
 
    一般来说,对结论可靠度的要求越高,验证花费的代价就越大、要做的分析内容就越多。所以,数据分析工作往往只能适可而止。有人强调大数据分析是“关注相关非因果”,本质上就是要注意分析过程的代价、不要钻牛角尖。
 
    而我们强调的却是:工业大数据不同于商业大数据,要“重视因果”。这个观点看似相反,本质上是说:工业对数据分析的可靠度要求高、论证结论时花的代价要适度大一些。事实上,用大数据分析的方法,永远得不到100%可靠的证明。所以,大数据分析一定是适可而止,只是止步的程度不一样。
本文来源于互联网,e-works本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供,并以尽力标明作者与出处,如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。