码迷,mamicode.com
首页 >  
搜索关键字:spark streaming 作业 容错    ( 29616个结果
Linux作业(三)-shell统计某文章中出现频率最高的N个单词并排序输出出现次数
#!/bin/bash if [ $# -ne 2 -a $# -ne 1 ] ;then echo "usage: `basename $0 ` [n] input file " echo exit fi if [ $# -eq 1 ];then I_TOP=10 I_FILE=$1 fi...
分类:系统相关   时间:2014-05-13 06:21:24    阅读次数:454
深入解析Windows操作系统笔记——CH1概念和术语
1.概念和工具本章主要介绍Windows操作系统的关键概念和术语1.概念和工具... 11.1操作系统版本... 11.2基础概念和术语... 21.2.1Windows API21.2.2 服务、函数和例程... 31.2.3 进程、线程和作业... 41.2.3.1 进程... 41.2.3.2...
分类:Windows程序   时间:2014-05-12 19:52:24    阅读次数:731
live555简介
live555编辑目录1live555简介2Live555 Streaming Media整体框架3openRTSP客户端流程1live555简介编辑Live555 是一个为流媒体提供解决方案的跨平台的C++开源项目,它实现了对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live...
分类:其他好文   时间:2014-05-12 14:13:35    阅读次数:313
222
/* Endian swapping module.Simple example with Avalon streaming interfaces and a CSR busAvalon-ST has readyLatency of 0Avalon-MM has fixed readLatency ...
分类:其他好文   时间:2014-05-11 23:21:17    阅读次数:423
python 实现Hadoop的partitioner和二次排序
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程 工作流程 :  InputFile --> mappers --> [Partitioner] --> reducers --> outputFiles 理解 :  1 输入文件,可以是指定远程文件系统内的文件夹下的 * 2 通过集群自己分解到各个PC...
分类:编程语言   时间:2014-05-11 14:46:35    阅读次数:519
Spark0.9 安装
1、下载Scala     wget  http://www.scala-lang.org/files/archive/scala-2.10.3.tgz    tar xvzf scala-2.10.3.tgz -C /usr/local 2、下载Spark    wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:其他好文   时间:2014-05-11 02:06:21    阅读次数:368
程序设计中的一些感悟
程序设计中的一些感悟 这篇感悟写的不错,特此转贴 1)学习应该从基础打起,不要一开始就尝试最高深的技术。 2)每看一本书,不要说这章我以前学习过了,也掌握的很好,因此我可以跳过这一章看更重要的了。 3)对于作业,遇到不会的尽量不要立刻向别人请教。如果实在解决不了的问题,可以先完成你会的,然后把一些特别的难点提炼出来,向高手请教。 3)不要指望书本和行家能帮你解决一切问题,因为并不是所...
分类:其他好文   时间:2014-05-10 04:53:20    阅读次数:318
Hadoop学习:Map/Reduce初探与小Demo实现
一、    概念知识介绍         Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行 处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。        Hadoop MapReduce基于“分而治之”的思想,将计算任务...
分类:其他好文   时间:2014-05-10 04:39:09    阅读次数:570
spark shuffle过程分析
spark shuffle流程分析 回到ShuffleMapTask.runTask函数 现在回到ShuffleMapTask.runTask函数中: overridedef runTask(context:TaskContext): MapStatus = { 首先得到要reduce的task的个数。 valnumOutputSplits= dep.partitioner.num...
分类:其他好文   时间:2014-05-09 22:58:33    阅读次数:574
树套树专题——bzoj 3110: [Zjoi2013] K大数查询 & 3236 [Ahoi2013] 作业 题解
【原题1】 3110: [Zjoi2013]K大数查询 Time Limit: 20 Sec  Memory Limit: 512 MB Submit: 978  Solved: 476 Description 有N个位置,M个操作。操作有两种,每次操作如果是1 a b c的形式表示在第a个位置到第b个位置,每个位置加入一个数c 如果是2 a b c形式,表示询问从第a个位...
分类:其他好文   时间:2014-05-09 09:04:34    阅读次数:461
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!