Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
大数据量引起的高并发处理：
1、数据量超过百万时增加集群服务器，比如使查询和操作分别在不同服务器上执行，如果数据量超过千万时这样会增加服务器间相互复制数据的资源开销，这时考虑把数据资源比如用户表根据ID放在不同的数据库集群中。
2、是页面静态化，因为html比jsp更节省资源和性能，考虑将页面做成html返回给客户，比如用freemarker工具
3、缓存技术，集群中采用memcached...
分类：
其他好文 时间：
2014-05-08 04:18:07
阅读次数：
361
上一篇，我们利用了一台服务器模拟了硬件存储，并提供给了我们的两台虚拟机，FS1和FS2来去连接；接下来，我们继续在这一篇中完成接下来的SMB3.0的CLuster的搭建和结合到我们公有云提供租户的方式，在SCVMM中去使用。FS1,FS2添加文件共享&Cluster角色在服务器角色界面，勾寻..
分类：
其他好文 时间：
2014-05-08 03:10:28
阅读次数：
401
不卖关子了，接着前面两篇，我们这篇要完成SMB3.0在群集下的建立，及如何联合SCVMM来去使用这个高可用的共享存储，并通过模板去部署租户虚拟机。部署SMB共享存储打开服务器管理器，并切换到群集管理器，然后配置Role选择FileServerSMB3.0需要选择Scale-OutFileServerforapplica..
分类：
其他好文 时间：
2014-05-08 02:45:41
阅读次数：
433
在zigbee规范中，引入了profile, cluster的概念。具体说来，假设规范一个profile(可以理解成一套规定)，这个profile用来规范智能家居领域的相关产品都要满足那些要求，那么home automation public profile就规定了智能家居都要做什么。当然了，你可以自己规范一个自己的profile，称为provite profile,而zigbee联盟则已经规范了...
分类：
其他好文 时间：
2014-05-07 07:45:25
阅读次数：
249
集群安装配置Hadoop
集群节点：node4、node5、node6、node7、node8。具体架构：
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类：
其他好文 时间：
2014-05-07 02:52:47
阅读次数：
361
平衡算法设计的好坏直接决定了集群在负载均衡上的表现，设计不好的算法，会导致集群的负载失衡。一般的平衡算法主要任务是决定如何选择下一个集群节点，然后将新的服务请求转发给它。有些简单平衡方法可以独立使用，有些必须和其它简单或高级方法组合使用。而一个好的负载均衡算法也并不是万能的，它一般只在某些特殊的应用环境下才能发挥最大效用。因此在考察负载均衡算法的同时，也要注意算法本身的适用面，并在采取集群部署的时...
分类：
其他好文 时间：
2014-05-06 22:27:27
阅读次数：
295
一、高可用集群(HighAvailabilityCluster)集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。每一个单个的计算机系统都叫集群节点（node）。随着业务的增长，集群通过添加新的节点，满足资源的高可扩展性。计算机硬件和软件易错性不可避免，这样在节点..
分类：
其他好文 时间：
2014-05-06 18:34:44
阅读次数：
467
马哥课程的学习任务：RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础（RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优）RH436RHS3333MySQL4NoSQL5系统工程师：是指具备较高专业技术水平，能够分析商业需求，并使用各种系统平台和服务器..
分类：
系统相关 时间：
2014-05-06 17:15:49
阅读次数：
479
