一、引言： 最近一直很忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落，继续努力吧。项目沟通中过程客户反复在强调，大数据的安全性，言下之意，用了大数据，就不安全了，就有漏洞了。所以花了些时间，针对大数据的安全设计做了一个总结，算是阶段性的成果吧，分享给大家。二、安全架构 大数.....
分类：
其他好文 时间：
2014-06-27 21:45:11
阅读次数：
229
因为工作当中遇到要处理大数据的excel的玩意，最多的有几十万行。用perl的方式试试，看看效果如何。ppm install OLE::Storage_Lite #如果不安装这个，后面两个安装不了 ppm install Spreadsheet::ParseExcelppm install Spre...
分类：
其他好文 时间：
2014-06-25 12:41:02
阅读次数：
242
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
Memcache存储大数据的问题huangguisu Memcached存储单个item最大数据是在1MB内，假设数据超过1M,存取set和get是都是返回false，并且引起性能的问题。我们之前对排行榜的数据进行缓存，因为排行榜在我们全部sql select查询里面占了30%，并且我们排行榜每小时...
分类：
其他好文 时间：
2014-06-25 00:55:10
阅读次数：
296
一个品牌在媒体众多、消费者被高度分散的时代，应该如何做，才能让消费者对你印象深刻，并且不断累积品牌资产？如何通过广告和营销引发消费行动？在扑面而来的移动互联网时代，品牌的传播模式正在遭受一场前所未有的革命。
这场需要重新定义传播模式的革命，根本原因，在于今天消费者生活形态的几个变化。
第一个变化，来自于消费者随时随地可以享用的移动互联网，注意力被分散，移动终端链接其他终端的需求加强...
分类：
移动开发 时间：
2014-06-24 17:16:36
阅读次数：
312
什么是大数据？某比萨店的电话铃响了，客服人员拿起电话。客服：XXX比萨店。您好，请问有什么需要我为您服务？顾客：你好，我想要一份……客服：先生，烦请先把您的会员卡号告诉我。顾客：16846146***。客服：陈先生，您好！您是住在泉州路一号12楼1205室，您家电话是2646****，您公司电话是....
分类：
其他好文 时间：
2014-06-24 15:15:03
阅读次数：
225
近日“轻量级虚拟化”成为了一个热门话题。它也称为“操作系层的虚拟化”，它允许您在一个主机上运行多个应用程序或系统管理程序。优点是显而易见的：由于它没有间隔在主机硬件和操作系统之间的hypervisor虚拟化管理层，以实现更有效的资源利用。由此带来的效益是，减少了虚拟化开销，同时仍然允许在一个服务器中分离并隔离多个任务。因此，“轻量级虚拟化”在以资料使用为关键业务的环境中是非常吸引人的，比如服务器托管或外包业务（如：云计算、大数据等）。...
分类：
系统相关 时间：
2014-06-22 20:01:16
阅读次数：
374
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
之前写了一片有关于阿里大数据比赛排名获取的文章(http://blog.csdn.net/dliyuedong/article/details/22849163),使用的是java,代码虽然不是很多,但是确实也不少.这几天简单的学习了一下php,发现php确实适合建立小网站,没有java(jsp)那样多的代码,但是java毕竟有java的优点,这里也不做说明,大家可以google一下.下面贴出使用...
分类：
其他好文 时间：
2014-06-22 08:23:42
阅读次数：
179
