启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/...
分类：
其他好文 时间：
2015-07-04 20:52:52
阅读次数：
203
start-all.sh 启动坑爹找不出错试了各种办法，重新formaet 查看 集群ID是否相同。都无效日志也没看到错按官网方法手动一步步启，问题照旧master节点，yarn namenode 启动（打印详细日志）node节点 yarn datanode 启动看到错了15/07/02 03:32...
分类：
其他好文 时间：
2015-07-03 18:58:35
阅读次数：
262
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类：
其他好文 时间：
2015-07-02 22:19:57
阅读次数：
430
参考的文章：http://www.cnblogs.com/smartloli/p/4298430.html 当然，在操作的过程中，发现与上述文章中描述的还是有一些小小的区别。 配置好后，start-dfs.sh start-yarn.sh之后，相关的进程，会自动被启动。包括 namenode两个进程...
分类：
其他好文 时间：
2015-07-02 08:42:22
阅读次数：
129
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
在迁移相关的spark程序到yarn的过程中间，对有些地方的配置进行了调整和优化， 总结起来，常用的一些设置如下:
1. spark.serializer 对象的序列化设置可以设置成spark的序列化类型，相对比较高效和紧凑，网络传输性能比较好
2. spark.kryoserializer.buffer.mb 用来设置对象序列化占用空间大小，当对象比较大的时候需要设置这个选项
3. spa...
分类：
其他好文 时间：
2015-06-26 11:03:05
阅读次数：
6192
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKe...
分类：
其他好文 时间：
2015-06-25 12:18:17
阅读次数：
223
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-06-24 08:10:41
阅读次数：
172
MRv1缺点1、JobTracker容易存在单点故障2、JobTracker负担重，既要负责资源管理，又要进行作业调度；当需处理太多任务时，会造成过多的资源消耗。3、当mapreduce job非常多的时候，会造成很大的内存开销，在
TaskTracker端，以mapreduce task的数目作为资源的表示过于简单，没有考虑到cpu以及内存的占用情况，如果两个大内存消耗的task被调度到了一块，...
分类：
其他好文 时间：
2015-06-23 23:12:30
阅读次数：
2933
