工作流管理器的检查点(DB层面):--1:数据库job aq参数设置,建议设置job_queue_processes》=10select p.NAME,p.DESCRIPTION,p.VALUE fromv$parameter pwhere p.name in('job_queue_processe...
分类:
其他好文 时间:
2014-07-16 22:57:24
阅读次数:
206
http://blog.csdn.net/gisinfo/article/details/8159875 1.Which two statements correctly describe the relationship among the Scheduler components: job, p...
分类:
其他好文 时间:
2014-07-16 21:32:58
阅读次数:
305
微软近期Open的职位:Job posting title: MSIT Dynamics CRM Sr. Dev Lead (Sr. Dev Lead)Location: China, BeijingAre you interested in shaping the future vision of...
分类:
其他好文 时间:
2014-07-13 11:57:52
阅读次数:
327
在一次失败的 'Shutdown Immediate'之后,数据库job 不能运行。...
分类:
数据库 时间:
2014-07-12 20:00:58
阅读次数:
306
1、Shell$ExitCodeException
现象:运行hadoop job时出现如下异常:
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类:
其他好文 时间:
2014-07-11 00:24:58
阅读次数:
355
总结之前工作中遇到的一个问题。
背景:
运维用scribe从apache服务器推送过来的日志有重复记录,所以这边的ETL处理要去重,还有个需求是要按业务类型多目录输出,方便挂分区,后面的使用。
这两个需求单独处理都没有问题,但要在一个mapreduce里完成,需要一点技巧。
1、map输入数据,经过一系列处理,输出时:
if(ttype.equals("other"))...
分类:
其他好文 时间:
2014-07-11 00:20:13
阅读次数:
226
第一天上班,做个总结。
总得来说,感觉很不错,一个结论~保持头脑清醒,好好加油。
今天主要办一些入职手续,拿到了代码,后面几天主要就是熟悉应用的功能、源码。想好好制定个计划,定日目标。
1.功能结构图(先从整体开始):
各大模块功能详解
2.类图:
从程序的源头开始绘制类图(以及类之间的关联)
3.熟悉当前代码的规范,梳理出一份规范文档。
4.技术点学习---在绘制类图的时候,就针...
分类:
其他好文 时间:
2014-07-10 23:18:40
阅读次数:
233
微软近期Open的职位:Job Title:Software Development EngineerIIDivision: Server & Tools Business - Commerce Platform GroupWork Location: Shanghai, ChinaAre you ...
分类:
其他好文 时间:
2014-07-10 15:08:15
阅读次数:
380
由于在生产环境中大量使用hive,而hive的权限又较弱,如果可以记录所有hive操作,在增强安全性的同时,还能够统计hive表的使用频率;同时如果能够记录hql的开始和结束时间,则能够找出系统中花费时间较多的job,针对性的进行优化,因此跟踪hive的使用轨迹,增强安全的同时也能方便问题定位。如何记录用户操作了?Hive Hook为我们提供的方便的开放接口。
我们对hive的使用主要有两种使用...
分类:
其他好文 时间:
2014-07-09 10:21:05
阅读次数:
233
线上一个job出错,报错信息如下:DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类:
其他好文 时间:
2014-07-09 08:40:55
阅读次数:
347