storm on yarn, failed, 失败， 提交， hadoop
分类：
其他好文 时间：
2015-07-15 10:54:52
阅读次数：
143
1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository，然后添加到dependency里面。最笨的创建repository的办法就是直接创建...
分类：
数据库 时间：
2015-07-14 17:02:48
阅读次数：
259
运行pig时报如下错误
2015-07-14 10:41:12,869 [main] ERROR org.apache.pig.Main - ERROR 2998: Unhandled internal error. Found interface jline.Terminal, but class was expected
解决办法：
删除{HADOOP_HOME}/share/had...
分类：
其他好文 时间：
2015-07-14 11:26:47
阅读次数：
113
启动hive时报如下的错误[ERROR] Terminal initialization failed; falling back to unsupported
解决办法：进入到hadoop安装目录下的share/hadoop/yarn下删除 jline的jar文件。再启动hive即可...
分类：
其他好文 时间：
2015-07-12 23:28:20
阅读次数：
297
Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。
local(本地模式)：常用于本地开发测试，本地还分...
分类：
其他好文 时间：
2015-07-10 13:34:15
阅读次数：
154
Spark应用概念Spark应用（Application）是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念：
Application：Spark 的应用...
分类：
其他好文 时间：
2015-07-08 16:39:37
阅读次数：
178
在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：
yarn.nodemanager.resource.cpu-vcores
30
NodeManager总的可用虚拟CPU个数
virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的...
分类：
其他好文 时间：
2015-07-08 13:03:47
阅读次数：
324
Spark学习笔记Spark简介spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。S....
分类：
其他好文 时间：
2015-07-06 19:34:52
阅读次数：
1335
YARN即MapReduceV2版本。相比MapReduceV1它有很多优点：1.分散了jobTracker的任务。资源管理任务由资源管理器负责，作业启动、运行和监测任务由分布在集群节点上的应用主题负责。这样大大减缓了MapReduceV1中jobTracker单点瓶颈和单点风险的问题，大大提高了集群的扩展性和可用..
分类：
其他好文 时间：
2015-07-06 00:12:21
阅读次数：
429
Hadoop 安装简单说就是：ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。
本文还提供涉及到的文件下载。...
分类：
其他好文 时间：
2015-07-05 09:34:59
阅读次数：
112
