到底大数据是什么，把这个很神奇的东西拨开以后，它还是很原始的。大家有没有想过，实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友，我的内部会做一个简单判断，我会用眼睛来看，这是图片信息。我会听他的声音，感受声音的声频信息。如果有机会握手，这是一个触摸的信息。通过交流，我能感受到他语言的信息。这些就是大数据中最常见的非结构化信息。我已经在脑子中判断这是一个什么样的人，人脑已经在做非常精密的大数据分析。今天的大数据只是在还原人脑的50%的水平而已，它最大的是大数据量，有它的宽度和深度。这个就是很传统的关于大数据的认识，我们自己就是大数据的分析仪器，而且非常精密。随着我们的成长和经历，对事物的判断也会越来越精密。
金融大数据将给中国银行带来极大的转变。它将让银行从被动服务客户，转向更加主动的方式。主动地去探索和挖掘，形成营销和分析模型，并直接投入到金融运营当中，使金融大数据真正产生业务价值。这一切正在悄然改变金融运营模式。
金融大数据的四步走
金融大数据，目前有四个阶段。第一阶段是基于数据存储；第二阶段是分布式计算；第三阶段是大数据挖掘与分析；第四阶段是数据服务。对于商业银行，包括工商、建设、农业、交通和中行这国有五大行来说，都处于第一阶段。其中，建行处于平台选型阶段。农业银行已经完成数据存储方面的工作，但还未上线。光大银行项目，在2013年10月上线，是国内第一家真正意义上将金融大数据应用到银行核心业务系统的案例。
银行的大数据处理
银行等金融机构，对大数据的处理需求有其特殊性。第一个就是结构化数据存储，第二个是数据挖掘。下面我们将逐一为您解开。
结构化数据存储，商业银行有实时查询数据库，用来处理历史金融数据。受限于传统ROE（Oracel、DB2、Sybase等）数据库的单表数据量瓶颈。银行数据超过一定上限就会影响查询效率。解决瓶颈的方法只能通过提高成本，大量购买高性能硬件和应用软件来解决。虽然银行IT部门预算丰富，但也还是需要平衡性能与成本的关系。
另一方面，银行需要在现有的数据上进行增值挖掘。如果依靠传统DR（Data Research数据研究），对成本的影响巨大。采用大数据技术、采用分布式集成框架、采用开源框架，一方面满足了成本依赖，另外一方面运算性能方面有所提升。
在业务数据模型方面，商业银行分为两个层面。第一个层面就是面向业务层面，需要选择哪些参数来构成预算的数据模型。这是业务层面上面，这一部分是与以前的模型一致。
另外一部分就是针对数据模型还有什么样的计算方式，需要哪些数据的输入，这方面发生了变化。因为你传统离岸模式是单机的，运算性能始终都是它无法突破的东西。所以说它对数据处理的时候，往往是基于销量数据的，基于出让数据做小批量的数据尝试，然后得出一些规律性的东西，然后再反向推导到其它数据，这是传统的模式。在这个环境里面有了一种突破，可以去用全量数据，构建数据模型的参考体系，这个数据量更大。另外一块性能更高一些，比单机模式要快。
金融大数据安全性
数据安全其实是一个相对的改变。因为在这里面大数据技术与数据安全性能整个要求本身没有直接的关系。怎么说呢？如果不采用大数据技术，安全性是不是一样面临同样的问题呢？对于传统模式，无论你采用什么样的技术，同样面临数据安全性的问题。
所以在这个里面包括各个环节，像存储的安全，传输的安全，展现的安全。这种模式，传统的银行采用的模式里面，不包括物理网站的隔离，包括访问权限的控制，包括软加密这些都是在传统的模式里面适用的。大数据技术，与银行数据安全性没有直接的关系，只不过区别是什么呢？
大数据技术是一个新的技术体系，银行原来需要单机处理的东西，现在需要在多个节点去参与进来，这样带来一个什么样的挑战呢？就是必须保证集群是能够被特定的用户去访问，而且特殊的节点不能够被假冒。如果这个节点正在自动化处理，如果黑客冒充某个节点，要保证不会导致数据的泄露。这种情况下其实是大数据在安全方面特殊的要求点，必须做到物理网站的隔离。只有授权节点能够参与到集群的工作中，这就是访问的安全。
节点数据的传输，这一块目前来讲银行的解决办法还是基于物理网隔离和用户的授权。这里面还是有瓶颈的，节点与节点之间，数据在共享的时候，速度还是瓶颈。这种加密需要去改造现有的大数据框架，目前来讲还没有看到国内银行有解决这个问题的。
总结
金融大数据，目前还处于一个逐步实施的阶段。商业银行中的金融大数据，既包括传统的BI结合，也包括对大数据环境底下数据分析挖掘。相信在2014年，金融大数据在历史数据存储和历史数据仓库存储这两个领域，会有更多落地实施的案例出现。大数据回归之年，就在2014。
原文地址：http://www.cnblogs.com/zeze/p/3750624.html
