码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 实战    ( 20951个结果
python 高阶函数
传入函数要理解“函数本身也可以作为参数传入”,可以从Python内建的map/reduce函数入手。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”,你就能大概明白map/reduce的概念。...
分类:编程语言   时间:2014-09-28 01:51:30    阅读次数:223
MapReduce 编程 系列五 MapReduce 主要过程梳理
前面4篇文章介绍了如何编写一个简单的日志提取程序,读取HDFS share/logs目录下的所有csv日志文件,然后提取数据后,最终输出到share/output目录下。本篇停留一下,梳理一下主要过程,然后提出新的改进目标。首先声明一下,所有的代码都是maven工程的,没有使用任何IDE。  这是我一贯的编程风格,用Emacs + JDEE开发。需要使用IDE的只需要学习如何在IDE中使用mave...
分类:其他好文   时间:2014-09-27 22:45:50    阅读次数:256
MapReduce 编程 系列四 MapReduce例子程序运行
MapReduce程序编译是可以在普通的Java环境下进行,现在来到真实的环境上运行。首先,将日志文件放到HDFS目录下$ hdfs dfs -put *.csv /user/chenshu/share/logs/ 14/09/27 17:03:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your...
分类:其他好文   时间:2014-09-27 21:04:00    阅读次数:233
Spark详解
Spark概述 当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年,社区出现了优化改进M...
分类:其他好文   时间:2014-09-27 18:23:00    阅读次数:573
【实战笔记】免费锦标赛第473名(6202人参赛)
输的太无语了,连续两次有好牌然后被扫地出局: 第一个大失误的局是3条K被别人听到顺子出局的,当然,我最后才拿到3条K,别人在转牌已经成了顺子,但是我却没有分析别人没有fold的原因,下注太猛了,这个是出局的...
分类:其他好文   时间:2014-09-27 17:31:40    阅读次数:213
【实战笔记】锦标赛0.10$+0.01$ 第446名
手牌A8s,筹码只有3个大盲了,在cut-off位置,前面所有人都fold,只有上家miausita跟了一个大盲,这个时候我选择了all-in搏一把,果然如预期,除了miausita其他人都fold了。 结局是悲催的,被人主宰踢脚然后出局了...
分类:其他好文   时间:2014-09-27 15:33:10    阅读次数:157
20140926I2COLED
今天在新板子上点亮OLED的时候第一步单片机已经起震I2C代码确认无误,但是OLED就是没反应,实战没办法就用示波器测试IO口的波形,方法如下在while循环中不断的送数据,之后用示波器探针测量SCL 和 SDA 发型SDA能够正确的上升到5v,但是SCL却只能上升到2V,所以导致OLED不亮。把操...
分类:其他好文   时间:2014-09-27 01:45:08    阅读次数:235
【实战笔记】写在前面
真没办法,遇到德州扑克这个游戏就沉沦了,“懂一时,精一世”,我几乎可以确定,我会一辈子都玩这个游戏。 上上周开始玩这个游戏,从学习基础的理论,到玩免费的锦标赛,到玩付参赛费的锦标赛,也分别尝试了现金...
分类:其他好文   时间:2014-09-27 01:40:39    阅读次数:177
实战Nagios NSCA方式监控Linux系统资源使用情况 -- Nagios配置篇 -- Nagios Server端
nagios server 端实现nagios + nsca + pnp4nagios bulk + npcd的配置...
分类:移动开发   时间:2014-09-26 23:13:38    阅读次数:602
大数据学习笔记
转自: http://www.csdn.net/article/2013-12-04/2817707-Impala-Big-Data-Engine大数据处理是云计算中非常重要的领域,自Google公司提出MapReduce分布式处理框架以来,以Hadoop为代表的开源软件受到越来越多公司的重视和青睐...
分类:其他好文   时间:2014-09-26 22:27:38    阅读次数:219
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!