1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map.....
分类:
其他好文 时间:
2014-05-20 01:54:58
阅读次数:
341
今天;完成了在主界面添加作业的控件明天:解决数据库清空闪退的原因
分类:
其他好文 时间:
2014-05-20 01:06:54
阅读次数:
261
Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn...
分类:
其他好文 时间:
2014-05-16 04:20:26
阅读次数:
455
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media
server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media
server只能在windows 200...
分类:
其他好文 时间:
2014-05-16 00:08:39
阅读次数:
545
1:下载darwin源代码DarwinStreamingSrvr6.0.3-Source.tar,补丁patch
dss-6.0.3.patch$wgethttp://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0.3-Source.tar$w...
问题描述: 给定n个作业的集合J=(J1,J2,...
,Jn)。每一个作业Ji都有两项任务分别在2台机器上完成。每个作业必须先有机器1处理,然后再由机器2处理。作业Ji需要机器j的处理时间为tji。对于一个确定的作业调度,设Fji是作业i在机器j上完成处理时间。则所有作业在机器2上完成处理时间和....
分类:
其他好文 时间:
2014-05-15 21:41:22
阅读次数:
487
1. 在此次阿里巴巴 IPO 资产中,核心业务依然是 C2C 淘宝和 B2C 天猫。天猫去年的交易额增长或为 100%,淘宝则可能低于 40%;
2. 淘宝、天猫和聚划算的营收模式并不相同,主体上是通过收取营销费用、广告费和佣金;
3. 阿里巴巴与京东分别代表“平台电商自营化”和“自营电商平台化”两种模式,彼此渗透,未来竞争取决于精细化作业能力。
关于阿里上市,那些清楚的和糊涂的...
分类:
其他好文 时间:
2014-05-15 18:24:55
阅读次数:
280
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询,尤其是当今非结构化数据的快速增长,对其数据的存储,处理,查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
...
分类:
其他好文 时间:
2014-05-15 18:13:55
阅读次数:
438
send($data)`. The sent data will then* be the
result of the `yield` expression. Thus it can be received using a code like*
`$data = yield;`.*/ /* What...
分类:
其他好文 时间:
2014-05-15 17:46:37
阅读次数:
311
这几天由于要上交开放实验的作业,于是晚上开始研究如何配置IIS服务器以及局域网内的访问。其实IIS服务器的原理和apache服务器原理的配置大致相同。只不过IIS配置完全是在windows窗口下完成的。接下来介绍如何启动你的IIS服务器,windows系统一般是自带IIS服务器的,但是晚上用..
分类:
其他好文 时间:
2014-05-15 08:49:57
阅读次数:
325