在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行set mapred.job.priority=VERY_HIGH;set hive.exec.parallel=true;设置map reduce个数-- 设置map capacityset...
分类：
其他好文 时间：
2014-07-19 21:37:25
阅读次数：
264
1.queryz的获取， 可参照： Quartz任务调度模型实例
2.开发思路：
要使用定时器quartz，先弄清楚三个概念：调度器、任务、触发器，开发也是按照这三个方面来开发，
1>写一个Job的实现类，里面是你自己要完成的业务逻辑；
2>写Trigger的实现类，主要有SimpleTrigger和CronTrigger...
分类：
其他好文 时间：
2014-07-18 22:26:09
阅读次数：
181
/*
D - 简单dp 例题
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d & %I64u
Submit
Status
Description
Given a sequence a[1],a[2],a[3]......a[n], your job is to calculate the max sum ...
分类：
其他好文 时间：
2014-07-18 22:23:25
阅读次数：
231
是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
Problem H
Morning Walk
Time Limit
3 Seconds
Kamalis a Motashotaguy. He has got a new job in Chittagong. So, he has moved to Chittagong fromDinajpur. He was getting fatter i...
分类：
其他好文 时间：
2014-07-18 17:01:16
阅读次数：
219
以前使用Linux老是会不小心按下Ctrl + z，然后就出现看不懂的情况，以为程序突然就没了，今天专门研究了下Linux下的几个快捷键和工作管理。其中找到一篇很不错的文章，大部分是里面转载的。原文地址：http://blog.chinaunix.net/uid-26495963-id-306275...
分类：
系统相关 时间：
2014-07-17 18:18:59
阅读次数：
339
在我们用dbms_job包进行定时Job的时候，需要设置时间间隔，所以需要知道时间的基本加减方法.SQL> alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss';会话已更改。SQL> select sysdate, sysdate+1/2...
分类：
数据库 时间：
2014-07-16 17:40:37
阅读次数：
258
Shoemaker's Problem
Shoemaker has N jobs (orders from customers) which he must make. Shoemaker can work on only one job in each day. For each ith job, it is known the integer Ti (1i<=1000...
分类：
其他好文 时间：
2014-07-16 17:12:33
阅读次数：
274
1、MapReduce理论简介
1.1 MapReduce编程模型
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job...
分类：
其他好文 时间：
2014-07-16 16:20:31
阅读次数：
326
把nutch的源代码导入到eclipse工程自定义抓取任务。下载源码：http://svn.apache.org/repos/asf/nutch/从svn下载想要的nutch源码，这里选择nutch-1.1编译源码：使用ant编译源代码，编译成功，可以看到多了一个build目录，其中有plugins...
分类：
Web程序 时间：
2014-07-16 15:22:05
阅读次数：
236
