最新新闻
我要投稿
联系电话:027-87592219/20/21转188
投稿邮箱:tb@e-works.net.cn
您所在的位置:首页 > 智库 > 智能生产

大数据也有弊端:数据量剧增 需要“智能遗忘”

发布时间:2016-06-15 作者:佚名  来源:新浪科技
关键字:大数据 
世界90%的数据是过去几年里产生的。

  现实生活中大部分复杂的趋势正是如此:股票市场、经济发展、企业的成功或失败、战争或和平、国家关系、帝国的崛起和衰落等等。短期分析不仅不够扎实,而且毫无益处甚至会带来误导。看看2009年金融危机即将到来的时候,还有那么多经济学家信誓旦旦地宣称这一事件不会发生。认为从那种时间尺度的数据就能做出扎实的预测,本身就有很大的问题。

  我们还应当记住,在决定哪些数据是保存还是删除的时候,新颖性往往会成为主要的考虑因素。旧的淘汰,新的进来,在这个搜索算法本质上偏向于新鲜事物的数字世界中,这是明显的趋势。从高等法院的裁决,到所有的社交媒体服务平台上,我们到处都可以看到已经失效的网址。对当前的偏好已经渗透到我们身边几乎所有的技术中,大多数人已经习惯用个四五年就把原本光鲜亮丽的机器抛弃。

  我们需要更好地确定哪些数据值得优先保存。怎么办?这不仅是一个如何更好保存旧数据的问题——尽管这并不是个坏主意,想想我们现在还有什么东西能保留10年的。更重要的是,这个问题关系到确定哪些东西值得优先保存,如何在知识的名义下,确定哪些信息最有意义。

  或许我们需要的是“智能遗忘”:让我们的工具变得更会放弃最近的过去,从而在整体视角上保持更大的连续性。这有点像是重新组织一本相片簿,尽管加上了更多的数学方法。什么时候两百万张照片的价值比两千张照片更低?什么时候较大的样品覆盖的范围反而较小?什么时候细节水平能提供有用的质疑证据,而不是虚假的自信?

  许多数据集是无法缩减的,而且在完整的情况下才最宝贵,比如,基因序列、人口统计学数据、地理和物理学的原始观测数据等。科学性越弱,数据规模与数据的质量更可能呈现负相关,此时时间本身就成为更加重要的过滤工具。我们如果不仔细选择过去保存下来的有价值、有意义的东西,那它们就会悄无声息地淹没在如今日益增长的噪音之中。

  今天的企业、个人和政府机构都能够获得比以往(甚至就在几年前)大许多数量级的数据,但这些数据并没有获得更多的处理时间。利用越来越高效的工具,董事会成员、首席执行官、政府官员等决策者可以就已有的信息提出更有意义的问题。单纯的堆积不是问题的答案。在一个数据量越来越大的时代,如何选择不知道哪些事情,与选择做什么事情一样重要。
 

2
本文来源于互联网,e-works本着传播知识、有益学习和研究的目的进行的转载,为网友免费提供,并以尽力标明作者与出处,如有著作权人或出版方提出异议,本站将立即删除。如果您对文章转载有任何疑问请告之我们,以便我们及时纠正。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。