一、引言： 最近一直很忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落，继续努力吧。项目沟通中过程客户反复在强调，大数据的安全性，言下之意，用了大数据，就不安全了，就有漏洞了。所以花了些时间，针对大数据的安全设计做了一个总结，算是阶段性的成果吧，分享给大家。二、安全架构 大数.....
分类：
其他好文 时间：
2014-06-27 21:45:11
阅读次数：
229
大数据可谓是最近几年最火热的一个科技概念。业界对大数据的数据源场景定义，是要么不小于100TB，要么来自于超高速的数据流，要么年增速大于60%。且有四个V的说法：分别是体量（Volume）、复杂（Variety）、速度（Velocity）、真实（Veracity）。而大数据真正对整个行业产生震憾影响...
分类：
其他好文 时间：
2014-06-26 18:46:06
阅读次数：
256
Sqoop官网:http://sqoop.apache.org/*) Sqoop介绍Sqoop用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。参考链接:http://blog.csdn.net/yfkis...
分类：
其他好文 时间：
2014-06-26 17:49:46
阅读次数：
212
因为工作当中遇到要处理大数据的excel的玩意，最多的有几十万行。用perl的方式试试，看看效果如何。ppm install OLE::Storage_Lite #如果不安装这个，后面两个安装不了 ppm install Spreadsheet::ParseExcelppm install Spre...
分类：
其他好文 时间：
2014-06-25 12:41:02
阅读次数：
242
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
Memcache存储大数据的问题huangguisu Memcached存储单个item最大数据是在1MB内，假设数据超过1M,存取set和get是都是返回false，并且引起性能的问题。我们之前对排行榜的数据进行缓存，因为排行榜在我们全部sql select查询里面占了30%，并且我们排行榜每小时...
分类：
其他好文 时间：
2014-06-25 00:55:10
阅读次数：
296
一、数据库 金蝶KIS标准版使用MS Access数据库，该数据库适用于小规模的数据处理，是比较经济的数据库解决方案，但当单个表的数据记录超过5万条时，运行的速度和稳定性都将受到一定程序的影响。 K3系统使用大型数据库MS SQL Server，该数据库为大型数据库，是当今主流的数据库平台之一，能提供高性能数据存储能力，数据量的大小仅仅受物理磁盘容量大小的限制，并且数据库的性能也不会因为数据量的增大而受到影响。 反应到客户具体的应用当中，也就意味着金蝶KIS标准版软件必须进行年结的操作，否则会造成软件...
分类：
其他好文 时间：
2014-06-24 19:54:24
阅读次数：
160
简介
诞生于25年前的VME（VersaModule Eurocard）总线是一种通用的计算机总线，结合了Motorola公司Versa总线的电气标准和在欧洲建立的Eurocard标准的机械形状因子，是一种开放式架构。它定义了一个在紧密耦合（closely coupled）硬件构架中可进行互连数据处理、数据存储和连接外围控制器件的系统。经过多年的改造升级，VME系统已经发展的非常完善，围绕其开发...
分类：
其他好文 时间：
2014-06-24 18:19:16
阅读次数：
550
一个品牌在媒体众多、消费者被高度分散的时代，应该如何做，才能让消费者对你印象深刻，并且不断累积品牌资产？如何通过广告和营销引发消费行动？在扑面而来的移动互联网时代，品牌的传播模式正在遭受一场前所未有的革命。
这场需要重新定义传播模式的革命，根本原因，在于今天消费者生活形态的几个变化。
第一个变化，来自于消费者随时随地可以享用的移动互联网，注意力被分散，移动终端链接其他终端的需求加强...
分类：
移动开发 时间：
2014-06-24 17:16:36
阅读次数：
312
