大数据产业

 大数据的理念异常火爆，不仅仅是IT或者互联网人在谈大数据，搞金融、搞医疗、搞地产的......，人人都在谈大数据。但，大潮退后，裸泳的人自然要去遮羞，真正留下的企业才会成为大数据财富的拥有者。在国产大数据产业生态环境中，只有具备核心竞争能力的企业才能成为大数据产业链上的最后赢家。赛智时代的《2013年中国大数据产业链研究报告》试图找到答案。

　　Dave Feinleib在大数据厂商生态图中比较清晰地划分了国际上主流的大数据研究、产品和服务厂商，大多数厂商的产品和技术都建立在Apache开源的Hadoop 分布式计算和存储的基础支撑平台上，包括开源的Hadoop/MapReduce、HBase、Mahout 和Cassandra等。开源基础技术之上，主流的大数据厂商分为大数据硬件基础设施（大数据一体机等）、大数据分析基础设施（商业化Hadoop等）、大数据操作基础设施（NOSQL数据库）、大数据基础设施和DAAS云服务（Daas）、商业智能、数据分析与可视化、日志应用、广告应用、垂直行业应用、大数据咨询与媒体服务等领域。

　　国内企业（自主品牌）在大数据领域的建设和投资还刚刚开始，在上面这些领域都有公司涉足。

　　首先，在大数据硬件基础设施方面，国内主要服务器厂商如曙光、浪潮、华为等公司均推出了自身的大数据一体机产品，如曙光的XData大数据一体机、浪潮的云海大数据一体机等。因大数据硬件基础设施强调基于低成本服务器集群搭建，这就降低了硬件的门槛，使得国内厂商在性能上并不逊色国外厂商，也有迎头赶上的机会，曙光一体机在农行的应用似乎也证明了这一点。

　　第二，在商业化Hadoop发行版方面，国内的企业仍在不断摸索，华为的FusionInsight Hadoop在这方面走在了前面，更多的发行版将被推出，据了解国内Hadoop开源社区EasyHadoop的创业团队将推出Hadoop的发行版。在Apache开源项目的基础上，加入相应的优化和服务，这对于国内的hadoop开发者来说，并不是难事，这一领域的领先企业值得期待。

　　第三，在NOSQL数据库方面，目前主流的互联网公司，大多采用的是国外开源的NOSQL数据库。但，淘宝、腾讯等公司在开源的基础上自主开发了NOSQL数据库，这也为国产自主NOSQL数据库播下了种子。国产数据库阵营的人大金仓、达梦、南大通用等企业也推出了相应的NOSQL或类NOSQL的数据库产品，但在主流互联网应用还较少，主要面向行业大数据应用。

　　第四，在大数据基础云和DaaS方面，这是互联网、电子商务、电信运营商等公司关注的重点，希望通过自身大数据平台和海量用户数据分析，提供大数据分析云服务。这属于大数据的高级应用，技术和用户门槛较高，目前仅有新浪、腾讯、百度、阿里巴巴等大型互联网公司具备大数据云服务的能力。

　　第五，在BI和数据挖掘、数据分析和可视化等领域，国内比较集中在报表，如润乾、帆软、用友华表、人大金仓等，文本分析的TRS、海量数据等，以及比较活跃的商业智能软件商如永洪科技等，整体实力还不算强。在基于复杂模型的机器学习和预测分析等领域，仍需要进一步加大研发力度。

　　第六，在行业应用领域，目前的主流企业是大数据营销服务商，他们基于网络营销所积累的客户群和数据分析平台（DMP)，提供基于大数据的广告营销服务，如百分点科技、传漾、品友互动等公司。随着不同行业大数据应用的兴起，越来越多拥有行业数据的大数据服务商将出现，如专注银行大数据服务的银联商务等。

　　第七，在大数据社区、媒体、咨询、培训等领域，伴随着大数据的热潮，一大批社区、媒体、咨询和培训公司涌现出来，比如做社区的EasyHadoop、做大数据研究和应用咨询的赛智时代（CIOManage）咨询等。

数据不懂社交。大脑在数学方面很差劲（不信请迅速心算一下437的平方根是多少），但是大脑懂得社会认知。人们擅长反射彼此的情绪状态，擅长侦测出不合作的行为，擅长用情绪为事物赋予价值。

　　计算机数据分析擅长的是测量社会交往的“量”而非“质”。网络科学家可以测量出你在76%的时间里与6名同事的社交互动情况，但是他们不可能捕捉到你心底对于那些一年才见2次的儿时玩伴的感情，更不必说但丁对于仅有两面之缘的贝阿特丽斯的感情了。因此，在社交关系的决策中，不要愚蠢到放弃头脑中那台充满魔力的机器，而去相信你办工作上的那台机器。

　　数据不懂背景。人类的决策不是离散的事件，而是镶嵌在时间序列和背景之中的。经过数百万年的演化，人脑已经变得善于处理这样的现实。人们擅长讲述交织了多重原因和多重背景的故事。数据分析则不懂得如何叙事，也不懂得思维的浮现过程。即便是一部普普通通的小说，数据分析也无法解释其中的思路。

　　数据会制造出更大的“干草垛”。这一观点是由纳西姆•塔勒布（Nassim Taleb，著名商业思想家，著有《黑天鹅：如何应对不可知的未来》等书作）提出的。随着我们掌握的数据越来越多，可以发现的统计上显著的相关关系也就越来越多。这些相关关系中，有很多都是没有实际意义的，在真正解决问题时很可能将人引入歧途。这种欺骗性会随着数据的增多而指数级地增长。在这个庞大的“干草垛”里，我们要找的那根针被越埋越深。大数据时代的特征之一就是，“重大”发现的数量被数据扩张带来的噪音所淹没。

　　大数据无法解决大问题。如果你只想分析哪些邮件可以带来最多的竞选资金赞助，你可以做一个随机控制实验。但假设目标是刺激衰退期的经济形势，你就不可能找到一个平行世界中的社会来当对照组。最佳的经济刺激手段到底是什么？人们对此争论不休，尽管数据像海浪一般涌来，就我所知，这场辩论中尚未有哪位主要“辩手”因为参考了数据分析而改变立场的。

　　数据偏爱潮流，忽视杰作。当大量个体对某种文化产品迅速产生兴趣时，数据分析可以敏锐地侦测到这种趋势。但是，一些重要的（也是有收益的）产品在一开始就被数据摈弃了，仅仅因为它们的特异之处不为人所熟知。

　　数据掩盖了价值观念。我最近读到一本有着精彩标题的学术专著——《‘原始数据’只是一种修辞》。书中的要点之一就是，数据从来都不可能是“原始”的，数据总是依照某人的倾向和价值观念而被构建出来的。数据分析的结果看似客观公正，但其实价值选择贯穿了从构建到解读的全过程。

　　这篇文章并不是要批评大数据不是一种伟大的工具。只是，和任何一种工具一样，大数据有拿手强项，也有不擅长的领域。正如耶鲁大学的爱德华•图弗特教授（Edward Tufte）所说：“这个世界的有趣之处，远胜任何一门学科。”