1 概述
Spark的on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Application日志的查看,只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中,如果不注意一些小的细节,也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类:
其他好文 时间:
2014-08-04 14:23:27
阅读次数:
297
attribute:using System;using System.Collections.Generic;using System.Linq;using System.Web;using System.Web.Mvc;using ServiceStack.Redis;namespace Red...
分类:
其他好文 时间:
2014-08-04 01:55:36
阅读次数:
276
波折了好几下才装上 1、下载 ? ? wget http://download.redis.io/releases/redis-2.8.7.tar.gz ? ?? 下载后的文件在当前目录里 redis-2.8.7.tar.gz 2、编译安装 ? ? tar xf redis-2.8.7.tar.gz ? ? cd r...
分类:
其他好文 时间:
2014-08-03 23:36:16
阅读次数:
487
各种配置在命令行状态下,多用crm进行 Global Cluster Options 这个类型是全局配置,主要包含下面两个: no-quorum-policy quorum的意思是最低法定人数,pacemaker能够继续工作所需要的最少的active的node的个数,这个数是(num of node...
分类:
其他好文 时间:
2014-08-03 22:48:46
阅读次数:
602
ocr和votedisk是什么?
作为集群节点,oracle cluster会在...
分类:
数据库 时间:
2014-08-03 15:22:35
阅读次数:
378
1、 Dict2.1 数据结构定义dict.h// 哈希表结构typedef struct dictht { dictEntry **table; //哈希表数组指针 unsigned long size; //哈希表大小 unsigned long sizemask; //掩码...
分类:
其他好文 时间:
2014-08-03 15:11:05
阅读次数:
193
周氏一族,整理技术文档,给下一代留点教程......网络架构192.168.0.202管理节点(MGM)192.168.0.203存储节点(NDB)192.168.0.204查询节点(API)准备材料(可以到官网下载,解压拿出来这两个包)MySQL-Cluster-client-gpl-7.3.5-1.el6.x86_64.rpmMySQL-Cluster-server-gpl-7.3.5-1.e..
分类:
数据库 时间:
2014-08-03 08:02:05
阅读次数:
472
一、NDBCluster(分布式存储引擎)存储引擎简单简介NDB存储引擎也叫NDBCluster存储引擎,主要用于MySQLCluster分布式集群环境,Cluster是MySQL从5.0版本才开始提供的新功能。这部分我们可能并不仅仅只是介绍NDB存储引擎,因为离开了MySQLCLuster整个环境,NDB存储引擎也将失去..
分类:
数据库 时间:
2014-08-03 07:55:25
阅读次数:
356
链表是Redis中使用非常广泛的一种数据结构,很多地方如List结构底层就是用链表实现的。链表的定义在头文件adlist.h 中,很常见的双向链表,结构如下: 1 // 链表节点 2 typedef struct listNode { 3 struct listNode *prev; //指...
分类:
其他好文 时间:
2014-08-03 01:45:04
阅读次数:
347
很长时间以来,一直纠集于要不要学习C/C++语言。 一方面那些优秀的开源软件都是用于C/C++写的,如nginx,redis,apache...,而自己对系统底层,计算机底层,内存管理,数据结构,算法之类都是一知半解,不明白其所以然。 而另一方面就我所掌握的语言来说,C#,PHP,JavaS...
分类:
其他好文 时间:
2014-08-02 23:16:04
阅读次数:
265