此系列博客皆为学习Spring Batch时的一些笔记；Spring Batch的架构一个Batch Job是指一系列有序的Step的集合，它们作为预定义流程的一部分而被执行；Step代表一个自定义的工作单元，它是Job的主要构件块；每一个Step由三部分组成：ItemReader、ItemProc...
分类：
编程语言 时间：
2014-06-19 00:47:33
阅读次数：
472
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
这个需求是公司有个文控中心，如果有用增删改了文件信息希望可以发邮件通知到有权限的人。当然方式很多。这里是用数据库作业来完成JOB+Com，这里用的com组件是Jmail当然你需要把com组件放到system32下面下面是实现方式CREATE
PROC dbo.dcc_Send_EmailASBEGI...
分类：
数据库 时间：
2014-06-16 06:42:34
阅读次数：
386
SQL> var loc varchar2(30)SQL> exec :loc:='South San Francisco'PL/SQL procedure successfully completed.SQL> SELECT 2 emp.last_name,emp.first_name,j.job_title,d.department_name,l.city,l.state_province,l...
分类：
其他好文 时间：
2014-06-15 13:23:58
阅读次数：
263
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
You are self-motivated.As a small business owner,you won't hava a boss to tell you when to get to work.If that's a problem,keep your day job.
You can work with number.You will spend a fair amount of time keeping track of money expenses,revenues,taxs...
分类：
其他好文 时间：
2014-06-14 12:10:26
阅读次数：
253
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
