集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL
和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪。一个master集群可以向多个slave集群推送,收到推送的集群会.....
分类:
其他好文 时间:
2014-05-06 01:15:23
阅读次数:
458
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类:
其他好文 时间:
2014-05-06 00:52:59
阅读次数:
491
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period
1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:
其他好文 时间:
2014-05-06 00:26:48
阅读次数:
429
root@localhost > show slave
status\G*************************** 1. row ***************************
Slave_IO_State: Waiting for master to...
分类:
其他好文 时间:
2014-05-06 00:14:48
阅读次数:
371
五一放假,为了能够准时完成alpha版本,还在学校的小组成员仍奋斗在一线!小组计划在五月八号的22:20分发布内部测试版。计划在五月二十号的下午18:30发布beta版在此期间不间断地发布修改的beta版本计划在五月三十号的下午2:30发布release版
分类:
其他好文 时间:
2014-05-06 00:12:57
阅读次数:
265
声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。
2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。
3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:
其他好文 时间:
2014-05-05 21:54:47
阅读次数:
456
大家都一直强调规范编码,但是这个世界上有个大师们娱乐的竞赛——国际乱码大赛。
能写出来的都是对语言深入了解的master。我从没想自己也能“恶搞”C,一直都是老老实实编码。就在前几天看了一篇帖子。
感觉把很规范的代码变成乱码,很有意思。于是决定动手试一试。
我不得不说。。。我以为看起来还简单的东西,搞了我一天,我去。。。各种bug。。。不过也有很大的...
分类:
编程语言 时间:
2014-05-04 12:43:11
阅读次数:
513
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并..
分类:
其他好文 时间:
2014-05-03 14:50:13
阅读次数:
836
一、主从一主多从时,主服务器上必须启用多个binlogdump线程,来对多个从服务器发起binlogeventdump,同时主服务器来得面临,前端众多客户端发起的写操作。主服务器压力很大,若挂了,从还能读不能写了,业务不能工作了,这样就催生了双主模型。双主模型下连上多个从也可以。但..
分类:
数据库 时间:
2014-05-03 14:44:43
阅读次数:
394