启动hive时报如下的错误[ERROR] Terminal initialization failed; falling back to unsupported
解决办法：进入到hadoop安装目录下的share/hadoop/yarn下删除 jline的jar文件。再启动hive即可...
分类：
其他好文 时间：
2015-07-12 23:28:20
阅读次数：
297
Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。
local(本地模式)：常用于本地开发测试，本地还分...
分类：
其他好文 时间：
2015-07-10 13:34:15
阅读次数：
154
Spark应用概念Spark应用（Application）是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念：
Application：Spark 的应用...
分类：
其他好文 时间：
2015-07-08 16:39:37
阅读次数：
178
在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：
yarn.nodemanager.resource.cpu-vcores
30
NodeManager总的可用虚拟CPU个数
virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的...
分类：
其他好文 时间：
2015-07-08 13:03:47
阅读次数：
324
Spark学习笔记Spark简介spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。S....
分类：
其他好文 时间：
2015-07-06 19:34:52
阅读次数：
1335
YARN即MapReduceV2版本。相比MapReduceV1它有很多优点：1.分散了jobTracker的任务。资源管理任务由资源管理器负责，作业启动、运行和监测任务由分布在集群节点上的应用主题负责。这样大大减缓了MapReduceV1中jobTracker单点瓶颈和单点风险的问题，大大提高了集群的扩展性和可用..
分类：
其他好文 时间：
2015-07-06 00:12:21
阅读次数：
429
Hadoop 安装简单说就是：ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。
本文还提供涉及到的文件下载。...
分类：
其他好文 时间：
2015-07-05 09:34:59
阅读次数：
112
启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/...
分类：
其他好文 时间：
2015-07-04 20:52:52
阅读次数：
203
start-all.sh 启动坑爹找不出错试了各种办法，重新formaet 查看 集群ID是否相同。都无效日志也没看到错按官网方法手动一步步启，问题照旧master节点，yarn namenode 启动（打印详细日志）node节点 yarn datanode 启动看到错了15/07/02 03:32...
分类：
其他好文 时间：
2015-07-03 18:58:35
阅读次数：
262
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shufflejava.lang.IllegalArgumentException: The ServiceName: mapre...
分类：
其他好文 时间：
2015-07-02 22:19:57
阅读次数：
430
