spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
Hive学习路线图Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, C...
分类：
其他好文 时间：
2014-07-11 08:48:52
阅读次数：
291
这里我们先说一下MapReduce V1的局限性：JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发、管理和调度，同时还必须和集群中所有的节点保持Heartbeat通信，了解机器的运行状态和资源情况。很明显，MapReduce中独一无二的JobTracker负责了...
分类：
其他好文 时间：
2014-07-09 14:35:36
阅读次数：
376
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
1.背景知识在不修改Storm任何源代码的情况下，让Storm运行在YARN上，最简单的实现方法是将Storm的各个服务组件（包括Nimbus和Supervisor），作为单独的任务运行在YARN上，当前比较有名的“Storm On YARN”实现是由yahoo！开源的，它基本实现了上述描述的功能，...
分类：
其他好文 时间：
2014-07-06 21:47:31
阅读次数：
266
