码迷,mamicode.com
首页 >  
搜索关键字:spark streaming 作业 容错    ( 29616个结果
活动目录、组策略、批量创建用户综合篇
Contoso公司基础信息系统构建方案1.Contoso公司的需求分析:公司总共有60台计算机和五台服务器,根据公司的要求需要通过部署AD来构建公司的系统。?根据公司的架构首先了部署活动目录域。根据容错和负载均衡的原则我们部署两台域控来满足高可用的要求。同时将计算机加入域。?在..
分类:其他好文   时间:2014-05-09 06:47:53    阅读次数:729
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:其他好文   时间:2014-05-09 05:14:32    阅读次数:405
在eclipse中配置spark 0.9.1源码的开发环境
一、准备工作: 1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。 二、配置工作 1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图: 2...
分类:系统相关   时间:2014-05-09 03:27:34    阅读次数:512
C算法与数据结构-线性表的应用,多项式求和---ShinePans
/*---上机作业作业,二项式加法---*/ /*---By 潘尚 ---*/ /*---日期: 2014-5-8 . ---*/ /*---题目:---*/ //假设有两个稀疏多项式A和B,设计算法完成下列任务 //1.输入并建立多项式A和B; //2.求两个多项式的和多项式C; //3.求两个多项式的积多项式D; //输出4个多项式A,B,C,D; #include #include #i...
分类:其他好文   时间:2014-05-09 02:44:41    阅读次数:345
Flex4 Halo组件 List 和 DataGrid
Flex1 到 Flex3 使用的都是 Halo组件,这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。 先写个“食物”的模型 Dinner.as 。 package model { [Bindable] public class Dinner { public...
分类:其他好文   时间:2014-05-09 02:34:26    阅读次数:306
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
NYOJ 663 弟弟的作业
NYOJ 663 弟弟的作业...
分类:其他好文   时间:2014-05-09 01:34:10    阅读次数:225
【转】【SEE】基于SSE指令集的程序设计简介
SSE技术简介Intel公司的单指令多数据流式扩展(SSE,Streaming SIMD Extensions)技术能够有效增强CPU浮点运算的能力。Visual Studio .NET 2003提供了对SSE指令集的编程支持,从而允许用户在C++代码中不用编写汇编代码就可直接使用SSE指令的功能。...
分类:其他好文   时间:2014-05-08 17:33:10    阅读次数:483
Task的执行过程分析
Task的执行过程分析 Task的执行通过Worker启动时生成的Executor实例进行, caseRegisteredExecutor(sparkProperties)=> logInfo("Successfullyregistered with driver") //Make this host instead of hostPort ? executor= newExecuto...
分类:其他好文   时间:2014-05-08 16:01:31    阅读次数:667
TCP/UDP常见端口参考
著名端口端口号码 / 层名称注释1tcpmuxTCP 端口服务多路复用5rje远程作业入口7echoEcho 服务9discard用于连接测试的空服务11systat用于列举连接了的端口的系统状态13daytime给请求主机发送日期和时间17qotd给连接了的主机发送每日格言18msp消息发送协议1...
分类:其他好文   时间:2014-05-08 14:48:14    阅读次数:538
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!