传入函数要理解“函数本身也可以作为参数传入”,可以从Python内建的map/reduce函数入手。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”,你就能大概明白map/reduce的概念。...
分类:
编程语言 时间:
2014-09-28 01:51:30
阅读次数:
223
前面4篇文章介绍了如何编写一个简单的日志提取程序,读取HDFS share/logs目录下的所有csv日志文件,然后提取数据后,最终输出到share/output目录下。本篇停留一下,梳理一下主要过程,然后提出新的改进目标。首先声明一下,所有的代码都是maven工程的,没有使用任何IDE。 这是我一贯的编程风格,用Emacs + JDEE开发。需要使用IDE的只需要学习如何在IDE中使用mave...
分类:
其他好文 时间:
2014-09-27 22:45:50
阅读次数:
256
MapReduce程序编译是可以在普通的Java环境下进行,现在来到真实的环境上运行。首先,将日志文件放到HDFS目录下$ hdfs dfs -put *.csv /user/chenshu/share/logs/
14/09/27 17:03:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your...
分类:
其他好文 时间:
2014-09-27 21:04:00
阅读次数:
233
Spark概述
当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年,社区出现了优化改进M...
分类:
其他好文 时间:
2014-09-27 18:23:00
阅读次数:
573
输的太无语了,连续两次有好牌然后被扫地出局: 第一个大失误的局是3条K被别人听到顺子出局的,当然,我最后才拿到3条K,别人在转牌已经成了顺子,但是我却没有分析别人没有fold的原因,下注太猛了,这个是出局的...
分类:
其他好文 时间:
2014-09-27 17:31:40
阅读次数:
213
手牌A8s,筹码只有3个大盲了,在cut-off位置,前面所有人都fold,只有上家miausita跟了一个大盲,这个时候我选择了all-in搏一把,果然如预期,除了miausita其他人都fold了。 结局是悲催的,被人主宰踢脚然后出局了...
分类:
其他好文 时间:
2014-09-27 15:33:10
阅读次数:
157
今天在新板子上点亮OLED的时候第一步单片机已经起震I2C代码确认无误,但是OLED就是没反应,实战没办法就用示波器测试IO口的波形,方法如下在while循环中不断的送数据,之后用示波器探针测量SCL 和 SDA 发型SDA能够正确的上升到5v,但是SCL却只能上升到2V,所以导致OLED不亮。把操...
分类:
其他好文 时间:
2014-09-27 01:45:08
阅读次数:
235
真没办法,遇到德州扑克这个游戏就沉沦了,“懂一时,精一世”,我几乎可以确定,我会一辈子都玩这个游戏。 上上周开始玩这个游戏,从学习基础的理论,到玩免费的锦标赛,到玩付参赛费的锦标赛,也分别尝试了现金...
分类:
其他好文 时间:
2014-09-27 01:40:39
阅读次数:
177
nagios server 端实现nagios + nsca + pnp4nagios bulk + npcd的配置...
分类:
移动开发 时间:
2014-09-26 23:13:38
阅读次数:
602
转自: http://www.csdn.net/article/2013-12-04/2817707-Impala-Big-Data-Engine大数据处理是云计算中非常重要的领域,自Google公司提出MapReduce分布式处理框架以来,以Hadoop为代表的开源软件受到越来越多公司的重视和青睐...
分类:
其他好文 时间:
2014-09-26 22:27:38
阅读次数:
219