最近一个月刚开始接触Hadoop,这两天在搞排序的时候遇到了点问题,终于解决了,所以想着可以将其记录下来,防止以后忘记,还可以为我国的社会主义建设做贡献。本篇文章的内容主要就是在Hadoop使用中遇到的各种问题以及解决方法。
问题1: Can’t read partitions file
背景:
Hadoop进行全局排序时有一个非常高效的算法–terasort,这种方法充分利用...
分类:
其他好文 时间:
2015-04-21 20:43:22
阅读次数:
130
centos服务器中,通过mdadm工具来创建维护软RAID,具体参数如下:-C:新建
-c:指定chunk
-a{yes|no}:是否为新建的raid设备自动创建设备文件
-A:装配
-l#:指定raid级别
-F:监控
-n#:用于raid的块设备的个数,不包括备盘
-x#:指定备盘的块设备个数操作:添加三块硬盘[root..
分类:
其他好文 时间:
2015-04-21 18:35:04
阅读次数:
374
【背景】
随着互联网技术的普及和发展,目前越来越多的住房公积金管理中心已经成功地开通了网上业务,在网上进行公积金服务是顺应信息技术发展潮流,大势所趋。开办网上业务处理功能,一方面可以让部分业务直接在网络上办理,不需要再到窗口柜面来处理,另一方面通过对部分业务在网络上进行预处理,可以有效地缩短在柜面办理的时间,让单位或个人可以提前预约需要办理的业务,在指定的窗口和指定的时间段办理指定的业务...
分类:
其他好文 时间:
2015-04-20 22:41:12
阅读次数:
188
算算百度云的总成本据新闻报道,2014年8月有QQ月活跃账户数达到8.29亿:http://media.people.com.cn/n/2014/0815/c40606-25470311.html由于百度云的没有开放外部使用,但我们可以假设百度云的建设成本与阿里云一样:http://help.ali...
分类:
其他好文 时间:
2015-04-20 22:29:40
阅读次数:
224
影响用户访问的最大部分是前端的页面。网站的划分一般为二:前端和后台。我们可以理解成后台是用来实现网站的功能的,比如:实现用户注册,用户能够为文章发表评论等等。而前端呢?其实应该是属于功能的表现。而我们建设网站的目的是什么呢?不就是为了让目标人群来访问吗?所以我们可以理解成前端才是真正和用户接触的。除...
分类:
Web程序 时间:
2015-04-20 22:09:01
阅读次数:
132
哎,学校信息化建设处的inode osx的版本,每次使用心里都万匹草泥马奔腾,每次认证成功,说是分配了网址,可都是上不了网。百般无奈,只能另谋出路,编一个inode这种想法对于我这种白痴还是算了吧,好赖这段时间一直学习网络知识,这次终于“搞定”了!其实是通过parallel desktop 9虚拟的windows xp安装inode客户端,然后通过inode上网进行分享至宿主机(听着是比较高(dan...
分类:
其他好文 时间:
2015-04-19 22:52:40
阅读次数:
182
四步过程维度建模由Kimball提出,可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程,但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。...
分类:
其他好文 时间:
2015-04-19 21:25:04
阅读次数:
195