转自：http://blog.csdn.net/zeb_perfect/article/details/42245703云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一...
分类：
其他好文 时间：
2015-06-01 16:28:58
阅读次数：
138
对于hadoop，我也处于了解学习中，参考大量资料，现在同大家分享下学习内容。
Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞
吐量的数据访问，适合存...
分类：
其他好文 时间：
2015-05-31 09:19:53
阅读次数：
129
近年来，关于大数据讨论已然是热火朝天，虽不说是家喻户晓，那至少对于业界来说也是引起了轩然大波。作为学生党的我，最近也在研究关于大数据的东东。作为一个技术迷，总是会想尝试一些新鲜的东西。前一段时间学习了Hadoop之后，又想看看Spark是什么东东。那么在这里有必要八卦一下Spark了。
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼...
分类：
其他好文 时间：
2015-05-30 21:15:29
阅读次数：
15212
1、MapReduce和Spark比较 目前的大数据处理可以分为以下三个类型： 1、复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间； 2、基于历史数据的交互式查询（interacti...
分类：
其他好文 时间：
2015-05-29 06:23:40
阅读次数：
319
range(0,100)
xrange(0,100)
都可以生成指定范围的数据，range然会的是数字列表，xrange则会延迟生成，再大数据处理的时候比较节约性能。
尽量使用xrange()...
分类：
编程语言 时间：
2015-05-28 16:12:20
阅读次数：
187
一：起因
（1）作为胶水语言的Python，可谓无处不在，快速开发原型网站；大数据处理等领域应用甚广
（2）学过c/c++ 或者 Java的ITers 很容易学习Python，特别是对于上手入门级的Python语法
（3）刚刚开始学习Python，练习Python时，可能感觉特别别扭 —— 完全没有方法{} ，近几年靠：和严格的缩进来进行代码段，程序段的分隔
二：Python 进阶语言...
分类：
编程语言 时间：
2015-05-27 10:06:38
阅读次数：
184
CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive...
分类：
其他好文 时间：
2015-05-22 21:16:48
阅读次数：
238
Hadoop是一个能够对大量数据进行分布式处理的软件框架，当下企业越来越流行，程序员必会的，掌握的一门技术。。。首先，我们来聊一聊什么是hadoop吧，相信现在的程序员对这个并不陌生，hadoop又名大数据处理，或者分布式文件存储和计算系统。不多说别的，举一例，大家都用过网盘吧，比如现在火热的百度网...
分类：
其他好文 时间：
2015-05-08 23:33:02
阅读次数：
216
SpringMVC+Mybatis+SpringSecurity(权限控制到方法按钮)+Rest(服务)+Webservice（服务）+Quartz（定时调度）+Lucene(搜索引擎)+HTML5bootstrap+Maven项目构建绝对开源平台项目Maven构建，模拟大型互联网架构，做到高并发，大数据处理，整个项目使用定制化服务思想，提供原子化..
分类：
编程语言 时间：
2015-05-07 01:04:06
阅读次数：
140
我的上一篇BLOG《大数据处理的两种模式》，谈了大数据基于内存的流式处理和基于硬盘的存储处理。比较这两种处理模式，因为内存的处理性能是硬盘的N个量级，所以流式处理效率要远远高于存储处理，但是流式处理本身有一个缺点，或者说是隐忧，上次没有提到，今天来说一下。...
分类：
其他好文 时间：
2015-05-04 08:38:35
阅读次数：
102
