Python是一门非常简洁，非常优雅的语言，其非常多内置函数结合起来使用，能够使用非常少的代码来实现非常多复杂的功能，假设相同的功能要让C/C++/Java来实现的话，可能会头大，事实上Python是将复杂的数据结构隐藏在内置函数中，用C语言来实现，所以仅仅要写出自己的业务逻辑Python会自己主动...
分类：
移动开发 时间：
2015-03-31 23:48:50
阅读次数：
228
通过eclipse方法来操作Hadoop集群上cassandra数据库（包括配置cassandra，创建Keyspace对象以及往数据库写入数据）；
创建map/reduce工程，命名为CassandraPro,需要把cassandra的lib目录下的jar包拷贝到hadoop的lib目录下；然后创建class，命名为TestClient；...
分类：
数据库 时间：
2015-03-28 14:21:59
阅读次数：
151
周四脑袋发热，突然想获取文档中id的最大值，发现mongodb中没有sql中max聚合函数，只能通过对整个文档使用sort和limit(1)获取最大值。感觉很不爽，突然想起map-reduce不就是聚合用的吗，于是乎就写了这个map-reduce的聚合功能。我的js一般，mongodb初学，很...
分类：
数据库 时间：
2015-03-21 13:51:46
阅读次数：
260
spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存...
分类：
其他好文 时间：
2015-03-20 12:49:49
阅读次数：
306
aggregate 包含３中不同的类型： １．管道 ２．单一功能聚合 ? (count,group,distinct) ３．map-reduce 管道表达式 管道表达式仅能操作当前在管道中的文档，不能代表其他的文档． 通常，表达式是没有状态的，并且...
分类：
数据库 时间：
2015-03-15 20:00:18
阅读次数：
170
这篇文章主要分析以下两点内容：目录：1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程正文：1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3...
分类：
其他好文 时间：
2015-03-11 21:31:48
阅读次数：
186
Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作业的InputFormat产生的。
然后，框架为这个任务的InputSplit中每个键值对调用一次 map(WritableComparable, Writable, OutputCollector, Reporter)操作。
通过调用 OutputCollector.col...
分类：
其他好文 时间：
2015-03-10 17:22:28
阅读次数：
216
第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机...
分类：
编程语言 时间：
2015-03-06 15:43:11
阅读次数：
309
1，关于MycatMycat情报
基于阿里的开源cobar ，可以用于生产系统中，目前在做如下的一些改进：
非阻塞IO的实现，相对于目前的cobar，并发性能大大提升，而且不会陷入假死状态
优化线程池的分配，目前cobar的线程池分配效率不高
修复cobar一些ＢＵＧ
参考impala中的impala front部分的Java代码，实现高效的Map-Reduce，能够处理上亿的大数据量...
分类：
数据库 时间：
2015-03-03 23:40:38
阅读次数：
315
一、Hadoop来历
在没有Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算Page Rank，通过不断的演变Google带给我们了GFS、Map-Reduce、Bigtable这三大的关键技术和思想。由于Google...
分类：
编程语言 时间：
2015-02-23 16:43:57
阅读次数：
234
