基于Zookeeper的分步式队列系统集成案例 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hca ...
分类：
其他好文 时间：
2016-09-21 10:13:51
阅读次数：
253
今天运行spark on yarn 一直出现 不知道是 什么问题，on yarn 上也没有日志提示。 ...
分类：
其他好文 时间：
2016-09-20 19:49:31
阅读次数：
380
生产环境下cloudera的cdh版本更受欢迎，但是貌似cloudera对于YARN的开发力度不是很突出，所以在apache与cdh版本选择的时候，大家是怎么考虑的？ 生产环境下cloudera的cdh版本更受欢迎，但是貌似cloudera对于YARN的开发力度不是很突出，所以在apache与cdh ...
分类：
其他好文 时间：
2016-09-20 08:59:50
阅读次数：
235
一个开源的，高可靠，可扩展的分布式计算框架 解决的问题 1 海量数据的存储（HDFS） 2海量数据的分析（Mapreduce） 3 分布式资源调度 （Yarn） 应用场景 日志分析，基于海量数据的在线应用，推荐系统，计算广告，复杂算法，网盘，搜素引擎，，，， 一 HDFS 动态增加，自动备份 二 m ...
分类：
其他好文 时间：
2016-09-17 23:32:08
阅读次数：
194
最近在做实验，实验需要进行分区域计算，网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求 但是当任务提交到capacity-scheduler调度器的default队列时，任务卡在ACCEPTED阶段。 网上看了很多发现没有这方面的信息，最后 ...
分类：
其他好文 时间：
2016-09-13 20:31:13
阅读次数：
504
Hadoop 2.6.0下面的关于Yarn工程，如下所示，主要有以下七个module： hadoop-yarn-server-application hadoop-yarn-server-common:resource manager 和node manager 共享的API hadoop-yarn ...
分类：
其他好文 时间：
2016-09-12 20:44:59
阅读次数：
218
从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题，这就得多亏了yarn平台了。我知道的，除了我们的大豆瓣用的是Mesos，咱们国家可以说应该是99.99%都使用的是yarn，当然了，国外使用的大多是Mesos。（然而我对Mesos并不理解啥，只知道他和yarn一样的 ...
分类：
其他好文 时间：
2016-09-09 22:28:06
阅读次数：
180
摘要：本文则主要介绍TalkingData在大数据平台建设过程中，逐渐引入Spark，并且以Hadoop YARN和Spark为基础来构建移动大数据平台的过程。 当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark ...
分类：
其他好文 时间：
2016-09-08 23:11:40
阅读次数：
214
大数据通用处理平台 Spark Flink Hadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习工具) 数据分析 ...
分类：
其他好文 时间：
2016-09-08 23:05:28
阅读次数：
188
在cdh 上安装spark on yarn 还是比较简单的，不需要独立安装什么模块或者组件。 安装服务 选择on yarn 模式：上面 Spark 在spark 服务中添加 在yarn 服务中添加 getWay 后重新 启动服务端 用hdfs 用户进入 spark bin 目录 cd /opt/cl ...
分类：
其他好文 时间：
2016-09-08 16:16:18
阅读次数：
164
