本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个...
分类：
其他好文 时间：
2014-12-16 11:50:12
阅读次数：
202
1复制概述Mysql内建的复制功能是构建大型，高性能应用程序的基矗将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服..
分类：
数据库 时间：
2014-12-15 22:00:42
阅读次数：
206
首先配置好，secondarynamenode
如果也想让这个单独的计算机，也作为datanode呢，用一下方法，就可以了，
把原来的secondarynamenode的节点加入到，从节点的文件里面就可以了。
[work@master conf]$ cat slaves
node1
node2
node3
[work@master conf]$ cat secondarynameno...
分类：
其他好文 时间：
2014-12-11 15:47:02
阅读次数：
170
Hbase支持的Hadoop版本http://hbase.apache.org/book/configuration.html#hadoop解压文件后，配置conf目录下的3个文件：hbase-env.sh（设定JAVA_HOME）regionserver（将slaves相应的IP加入）hbase-...
分类：
其他好文 时间：
2014-11-22 20:12:55
阅读次数：
264
笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类：
其他好文 时间：
2014-11-11 14:08:26
阅读次数：
589
最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启hadoop时，HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。...
分类：
系统相关 时间：
2014-11-04 11:01:55
阅读次数：
163
数据库水平扩展与垂直扩展
在互联网应用中，数据库经常是我们存储和访问数据的常用介质。随着负载的增大，对数据库读写性能的要求往往成为很大的挑战。在这种情况下我们可以考虑数据库相关的replication机制提高读写的性能。由于一般采用一写多读的replication机制（写master同步到多个slaves），导致这样的机制往往会有缺陷。首先它依赖于读写的比例，如果写的操作过多...
分类：
数据库 时间：
2014-10-31 19:12:57
阅读次数：
759
还是南京那个客户的库，alert.log日志还报了如下的错误：
Fri Oct 17 19:59:51 2014
Thread 1 cannot allocate new log, sequence 4722
Private strand flush not complete
Current log# 1 seq# 4721 mem# 0: /oradata/sgomp5/...
分类：
其他好文 时间：
2014-10-23 16:17:58
阅读次数：
271
lsblk可以查看磁盘的分区和挂载情况
lsblk所有的参数
-a, --all 显示所有设备
-b, --bytes 以bytes方式显示设备大小
-d, --nodeps 不显示 slaves 或 holders
-D, --discard print discard capabilities
...
分类：
其他好文 时间：
2014-10-21 21:36:27
阅读次数：
198
第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
