从大数据地形图看大数据行业发展现状

    硅谷著名投资机构Firstmark近期发布了2016年的大数据行业地形图，展现了如今大数据厂商的分布。巨杉CTO王涛从地形图出发对于大数据的发展也有着自己的见解，他认为，想做好企业大数据，其实并不容易。

大数据地形图

　　在新兴事物收到追捧的科技创新行业中，“大数据”目前正在走向理性与成熟。随着2006年Hadoop的成立,在2011年到2014年间人们对“大数据”这一概念的兴趣达到了狂热的地步，凡是必提“大数据”。而进入2015年，随着大数据真正的开始广泛落地应用在各个领域，大数据这个词似乎变得非常常见，也开始为大家所接受。同时，2015年以来“大数据世界”里的“热血青年”们转而痴迷于VR、AI这些“更新”的领域，大数据行业也开始趋于冷静，走向成熟。

　　企业大数据：做好并不容易

　　关于大数据，有趣的是，它带给我们的很有可能并不像最初炒作时说的那种体验。

　　在科技界受到广泛关注的产品和服务，往往是那些人们可以触摸、感觉或涉及得到的，如：手机应用、社交网络、可穿戴设备、虚拟现实等。然而，针对大数据，从根本上说，它是属于探索型的。当然，大数据影响着很多消费者或企业的用户体验。但大数据的核心还是企业技术，它背后涉及到的数据库、分析等等并没有几个人会看到。大数据同样是这样：企业是不可能在一夜之间将一项新技术真正运用起来的。

　　现在我们正面临着一个更大也更棘手的机会：采用大数据技术的企业范围更为广泛了，这涵盖了从中型企业到大型的跨国企业，这些企业在大数据应用过程中走了许多弯路：绝大多数这类公司，现有的技术基础设施都“能够凑效”，因此就认为可以通过“自身升级”同时引进一些开源的新技术就可以实现。结果最后不仅搭建起来技术上有众多“水土不服”，同时更多是现有技术实力不足以支撑大数据新业务的需求。

　　另一个要去理解的关键点是：大数据的成功不是去实现一项技术(像Hadoop或者其他公司)，而是要求把技术、人员和流程组合成一条组装线。你要做到的是获得数据，存储数据，清理数据，查询数据，分析数据，可视化数据。这里面有些是由产品本身去完成的，有些则依靠我们人类自身。并且，这一切都需要被无缝整合。最后，要使得它能够运作起来，整个公司从高级管理层开始，需要致力于构建一个数据驱动的文化，因为大数据不是“一件”事情，而是“一整件”事情。

　　还有最重要的一点，那就是企业级大数据领域，很难完全靠开源产品打遍天下的。任何大型的开源项目背后一定会有原厂的商业厂商提供原生的技术支持甚至是企业级的产品。比如Spark背后是Databricks，Hadoop背后就是“三驾马车”Cloudera、Hortonworks和Pivotal。因此，企业不应该只看到“开源大数据技术”就认为“我可以拿过来用了”，这是对于大数据最大的误区之一。

　　所以我认为，只有最优秀的大数据产品加上原厂的专业的技术支持，才是真正推动大数据快速落地的根本。

　　大数据的基础架构：创新仍在继续

　　自谷歌发表那篇关于Map Reduce和BigTable的文章引领Doug Cutting和Mike Cafarella创建Hadoop到现在已经过去十年了，因此大数据的基础设施层已经获得足够多的时间去发展成熟并解决一些关键的问题了。然而，由于因为大量的开源活动的进行，大数据基础架构仍在继续蓬勃发展。