大数据也有弊端：数据量剧增 需要“智能遗忘”

    据国外媒体报道，在经济领域和人类行为的大量数据采集中，存在着一个违反直觉的弊端，而这会使我们忽略历史的教训。大数据的问题之一是太过于关注当前，而忽略了即使最近的过去。

大数据也有弊端：数据量剧增 需要“智能遗忘”

　　你或许很熟悉这样一个统计结论：世界90%的数据是过去几年里产生的。事实上，过去三十年中，全世界的数据量大约每两年增加10倍——远远超过了计算机领域的摩尔定律。

　　这样的信息增长速率会带来一些问题，其中之一便是现时的数据量总是远远超过即使最近的过去。想象你正在通过一本相片簿回顾人生的头18年，假设在两岁时你有两张照片，如果信息增长速率与世界数据量相同，那么在你6到8岁时，你会有惊人的2000张照片；10到12岁时有20万张照片；而在16到18岁时，照片数量会达到2亿张，相当于在最后两年中，每秒有3张以上的照片。

　　当然，这并非是全球数据增长情况的完美类比。首先，世界大部分数据的增长源于有更多的人创造出了更多的信息来源，同时伴随更大、更精细的格式。不过，有关比例的观点还是成立的。如果你像前述的例子那样回顾以往的记录，或者试图进行分析，那距离越久远的过去就会变得越无关紧要。

　　这就是目前采集和分析大数据时所面临的问题。当你开始以更长远的视角往前回溯时，会发现近期的事情太多，而以前的事情太少。短视是结构性的，对短期趋势的过度估计是压倒性的，同时却忽略了历史的经验教训。

　　为了理解这个问题的重要性，需要考虑社会科学中有关“近期偏差”（recencybias，又称近因效应）的研究发现。近期偏差是指在判断趋势时，认为未来事件与近期体验更加类似。这可以说是某种“可利用性法则”（availabilityheuristic）——不恰当地以最容易被知觉到的信息来作为思考的基础。这还是一种普遍的心理学特征。举例来说，如果在你居住的地方，过去几年中夏季都异乎寻常地寒冷，你可能会认为夏天正在变得更冷——或者说你当地的气候正在变冷。事实上，你不应当把任何东西都塞到数据里分析。你需要有一个长远的视角，才能认识真正有意义的气候趋势。在短时期内，你最好不进行任何猜测。不过，我们之中又有谁能真正做到这点呢？