码迷,mamicode.com
首页 >  
搜索关键字:spark streaming 作业 容错    ( 29616个结果
hadoop作业调优参数整理及原理
1 Map side tuning参数1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map.....
分类:其他好文   时间:2014-05-20 01:54:58    阅读次数:341
冲刺-3 每日个人任务
今天;完成了在主界面添加作业的控件明天:解决数据库清空闪退的原因
分类:其他好文   时间:2014-05-20 01:06:54    阅读次数:261
Apache Spark源码走读之8 -- Spark on Yarn
Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn...
分类:其他好文   时间:2014-05-16 04:20:26    阅读次数:455
Ubuntu 10.04下架设流媒体服务器
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media server只能在windows 200...
分类:其他好文   时间:2014-05-16 00:08:39    阅读次数:545
ubuntu12.04上搭建darwin streaming server6.03
1:下载darwin源代码DarwinStreamingSrvr6.0.3-Source.tar,补丁patch dss-6.0.3.patch$wgethttp://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0.3-Source.tar$w...
分类:Windows程序   时间:2014-05-15 22:34:00    阅读次数:580
回溯法——批处理作业调度
问题描述: 给定n个作业的集合J=(J1,J2,... ,Jn)。每一个作业Ji都有两项任务分别在2台机器上完成。每个作业必须先有机器1处理,然后再由机器2处理。作业Ji需要机器j的处理时间为tji。对于一个确定的作业调度,设Fji是作业i在机器j上完成处理时间。则所有作业在机器2上完成处理时间和....
分类:其他好文   时间:2014-05-15 21:41:22    阅读次数:487
阿里巴巴资产分析报告: 淘宝和天猫谁更赚钱?
1. 在此次阿里巴巴 IPO 资产中,核心业务依然是 C2C 淘宝和 B2C 天猫。天猫去年的交易额增长或为 100%,淘宝则可能低于 40%; 2. 淘宝、天猫和聚划算的营收模式并不相同,主体上是通过收取营销费用、广告费和佣金; 3. 阿里巴巴与京东分别代表“平台电商自营化”和“自营电商平台化”两种模式,彼此渗透,未来竞争取决于精细化作业能力。 关于阿里上市,那些清楚的和糊涂的...
分类:其他好文   时间:2014-05-15 18:24:55    阅读次数:280
非结构化数据的存储与查询
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询,尤其是当今非结构化数据的快速增长,对其数据的存储,处理,查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。        ...
分类:其他好文   时间:2014-05-15 18:13:55    阅读次数:438
A coroutine example: Streaming XML parsing using xml_parser
send($data)`. The sent data will then* be the result of the `yield` expression. Thus it can be received using a code like* `$data = yield;`.*/ /* What...
分类:其他好文   时间:2014-05-15 17:46:37    阅读次数:311
IIS6.0的配置以及访问局域网
这几天由于要上交开放实验的作业,于是晚上开始研究如何配置IIS服务器以及局域网内的访问。其实IIS服务器的原理和apache服务器原理的配置大致相同。只不过IIS配置完全是在windows窗口下完成的。接下来介绍如何启动你的IIS服务器,windows系统一般是自带IIS服务器的,但是晚上用..
分类:其他好文   时间:2014-05-15 08:49:57    阅读次数:325
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!