我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。前面用两个月的时间验证了Presto JDBC驱动、Prestogres和SHIB三种方案。Prestogres,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bi...
分类:
其他好文 时间:
2015-03-16 14:33:24
阅读次数:
264
大数据指的是海量数据的分析处理,可能是EB级的数量处理,我们之前也提到过大数据拥有4V特性,Volume(大量)、Velocity(高 速)、Variety(多样)、Value(价值),对于大数据的分析处理,需要有专门设计的硬件...
分类:
其他好文 时间:
2015-03-10 19:53:44
阅读次数:
236
政府为什么要考虑使用大数据呢?究其原因,就是为了提升其公共服务的质量,这和公司的目标,即追求更多的利润十分相似。大数据是一个通用术语,用于从各种来源获得收集的大量的数据信息。对于传统的关系数据分析技术,数据量实在太大了,它不再能够胜任了,因为这些数据都是没有经过处理的,而且还是非结构化的数据类型。令...
分类:
其他好文 时间:
2015-03-10 15:13:14
阅读次数:
127
中国大数据技术大会首日全体大会上,腾讯数据平台部助理总经理蒋杰发表了题为《大数据处理的规模化与实时化演进 》的演讲。他分享了大数据技术在腾讯的实践,其中包括基于Hadoop的平台TDW、实时数据收集系统TDBank以及基于Storm的流处理系统TRC。同时,蒋杰还透露,腾讯将在12月开源内部的Had...
分类:
其他好文 时间:
2015-02-09 12:47:57
阅读次数:
177
请大家不要再纠结于一块磁盘能保存多少数据或者企业到底会不会采用Hadoop。关于大数据的真正问题在于,企业用户将如何使用Hadoop、我们的系统到底能在智能化道路上走多远、我们又该如何保证这一切都处于控制之下。过去几年当中,大数据技术已经迎来长足发展;从一个乐观积极的流行词汇变成人见人恨的疑难杂症,...
分类:
其他好文 时间:
2015-02-06 14:36:58
阅读次数:
178
作者:萝卜(微信:Robbie_Qi)今天早上看新闻频道,里面正在播房产继承难的新闻,它的结束语引起了我的注意,新闻大意是说,要解决个人来回提取相关档案的难题,应该“建立云计算平台,利用大数据技术查询档案”,我当时就被记者的水平所折服,一个普通的信息系统联网的事情,尽然也能和云计算、大数据搭上边,这...
分类:
其他好文 时间:
2015-02-02 15:27:06
阅读次数:
191
信仰大数据技术改变世界并大胆付诸行动,是硅谷最可贵的传统。中国互联网山寨装逼、口水炒作太多了,巨头们是时候重启技术理想主义了,这是我们这一代人的历史担当。尼葛洛庞帝再一次访华了,这是一位真正世界级的互联网思想者。(我认为被不少人士抨击“走穴”的KK也是,下一篇再谈)在和百度百家作者的集体对话中,他把...
分类:
其他好文 时间:
2015-01-31 14:26:43
阅读次数:
183
时至今日,“Big data”(大数据)时代的来临已经毋庸置疑,尤其是在电信、金融等行业,几乎已经到了“数据就是业务本身”的地步。这种趋势已经让很多相信数据之力量的企业做出改变。恰逢此时,为了让更多的人了解和使用分析大数据,CSDN独家承办的大数据技术大会于今日在北京中旅大厦召开。本次大会汇集Had...
分类:
其他好文 时间:
2015-01-27 18:13:08
阅读次数:
349
事实星座模式是数据仓库最长使用的数据模式,尤其是企业级数据仓库(EDW)。这也是数据仓库区别于数据集市的一个典型的特征,从根本上而言,数据仓库数据模型的模式更多是为了避免冗余和数据复用,套用现成的模式,是设计数据仓库最合理的选择。当然大数据技术体系下,数据仓库数据模型的设计,还是一个盲点,探索中。
分类:
其他好文 时间:
2015-01-20 10:10:16
阅读次数:
152
现代社会的信息量正以飞快的速度增长,这些信息里又积累着大量的数据。预计到2025年,每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理,以获取更多有价值的信息。在未来的“智慧城市”中,会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储...
分类:
其他好文 时间:
2015-01-14 19:45:17
阅读次数:
217