今天群里有个有经验的大神提了一个问题(@尘事随缘)，记录下来。 A君搭建一个小型的集群，7台DataNode，一台主节点。需求是这样：通过MR程序去读取Hbase表里面的数据，程序运行后发现速度比较慢，通过查询任务详细...
分类：
其他好文 时间：
2015-05-07 12:46:39
阅读次数：
126
int等基本数据类型的值是可以通过=或者!=进行比较的，但是对于Long等包装类型想比较其和某个值是否相等是不能通过=或者!=来比较的，那究竟要怎么样进行比较呢？ if (null != project.getUserRls()) { for (TccPrjMemberRelation mr : p...
分类：
编程语言 时间：
2015-04-30 10:16:38
阅读次数：
163
[Charlie refused to come clean with the names of the students responsible for the prank; Mr. Trask is furious]Mr. Trask: [furious] I am left with no r...
分类：
其他好文 时间：
2015-04-28 13:41:11
阅读次数：
181
前言由于最近开始涉及MR程序的编写，之前会一点HIVE，对MR接触不多，不论从原理还是实际操作上，都有些障碍，终于在今天柳暗花明，将这一过程记录下，与大家分享~环境准备在VM上搭建好LINUX虚拟机，并安装配置好HADOOP2.2.0，我这里是单节点的伪分布式在eclipse中安装hadoop插..
分类：
其他好文 时间：
2015-04-26 01:43:47
阅读次数：
161
最近cocos2d-x 3.3工程接入第三方sdk时，出现支付的时候应用重启的问题。结果排查发现，cocos2d-x 3.3经过特殊方法处理（处理方法：http://www.cnblogs.com/Colored-Mr/p/4239888.html），so文件复制在lib/armeabi文件下，但是...
分类：
其他好文 时间：
2015-04-25 18:00:22
阅读次数：
158
#!/bin/bash
#systemOSautoinstall
#Mr.luo
#exit2:notmountsystemiso
pxe_dir=/mnt/p_w_picpaths/pxeboot
http_dir=/var/www/html
dhcp_dir=/etc/dhcp
echo"youhasconfigdhcpd.conf."
read-p"areyousuretorewriteit,enteryorn:"option
option=`echo$option|trA-Za-z`
whil..
分类：
Web程序 时间：
2015-04-24 10:48:07
阅读次数：
196
#!/bin/bash
#systemOSautoinstall
#Mr.luo
#exit2:notmountsystemiso
pxe_dir=/mnt/p_w_picpaths/pxeboot
http_dir=/var/www/html
dhcp_dir=/etc/dhcp
echo"youhasconfigdhcpd.conf."
read-p"areyousuretorewriteit,enteryorn:"option
option=`echo$option|trA-Za-z`
whil..
分类：
Web程序 时间：
2015-04-24 10:47:07
阅读次数：
193
Natural Language Processing with PythonChapter 6.1由于nltk.FreqDist的排序问题，获取电影文本特征词的代码有些微改动。 1 import nltk 2 from nltk.corpus import movie_reviews as mr ...
分类：
其他好文 时间：
2015-04-23 23:04:30
阅读次数：
147
作用：在Mapper端对数据进行Combine归约处理，Combine业务逻辑与Reducer端做的完全相同。处理后的数据再传送到Reducer端，再做一次归约。这样的好处是减少了网络传输的数量。在Mapper进行归约后，数据量变小了，这样再通过网络传输时，传输时间就变短了，减少了整个作业的运行时间...
分类：
其他好文 时间：
2015-04-23 10:51:40
阅读次数：
176
ftp从服务器上获取通信设备吐出的mr数据，该方案估计在通信行业上一个很普遍的一种方案，很奇怪为什么不把这些数据直接存储到数据库中呢，比如hadoop，反而还需要第三方搞网优的软件开发人员从ftp上读取成千万的mr文件信息。这种方案估计已经成公认的方案，可能原因：1，这样的文件格式的不同意，数据库很...
