来自：http://blog.csdn.net/macyang/article/details/7880671所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），...
分类：
其他好文 时间：
2014-07-09 21:05:18
阅读次数：
248
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
由于在生产环境中大量使用hive，而hive的权限又较弱，如果可以记录所有hive操作，在增强安全性的同时，还能够统计hive表的使用频率；同时如果能够记录hql的开始和结束时间，则能够找出系统中花费时间较多的job，针对性的进行优化，因此跟踪hive的使用轨迹，增强安全的同时也能方便问题定位。如何记录用户操作了？Hive Hook为我们提供的方便的开放接口。
我们对hive的使用主要有两种使用...
分类：
其他好文 时间：
2014-07-09 10:21:05
阅读次数：
233
Max Sum
Time Limit: 2000ms Memory limit: 32768K 有疑问？点这里^_^
题目描述
Given a sequence a[1],a[2],a[3]......a[n], your job is to calculate the max sum of a sub-sequence. For example, given (6,-...
分类：
其他好文 时间：
2014-07-08 21:30:17
阅读次数：
205
#!/usr/bin/envpythonfromQueueimportQueuefromthreadingimportThreadimportrandomimporttimedefperson(i,q):whileTrue:#这个人一直处与可以接活干的状态q.get()print"Thread",i,"do_job"time.sleep(random.randint(1,5))#每个人干活的时间不一样，自然就会导致每个人分配的件..
分类：
编程语言 时间：
2014-07-08 09:48:06
阅读次数：
222
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类：
其他好文 时间：
2014-07-06 12:54:32
阅读次数：
220
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类：
移动开发 时间：
2014-07-06 12:51:21
阅读次数：
249
我的CSDN专访。
摘要：EMC公司作为全球信息存储及管理产品方面的领先公司，不久前，EMC宣布收购DSSD加强和巩固了其在行业内的领导地位，日前我们有幸采访到EMC中国的张安站，他就大数据、商业存储、Spark等给大家分享了自己的看法。...
分类：
其他好文 时间：
2014-07-06 12:03:25
阅读次数：
225
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
今天在闲暇时间练习了一下oracle任务计划，具体详情如下1.创建表TBL_TIMEcreatetabletbl_time(
idnumbernotnull,/*id号*/
vsecondvarchar2(2),/*秒*/
vtimevarchar2(10)/*当前时间*/
)2.创建序列seq_tbltimecreatesequenceseq_tbltime
startwith1
incrementby1
nomaxval..
分类：
数据库 时间：
2014-07-04 06:03:32
阅读次数：
386
