一、软件版本Centos6.5、VMware 10CDH5.2.0（Hadoop 2.5.0）Hive-0.13 sqoop-1.4.5 二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监控。②、玩转Mapreduce编程；③、玩转Hive使用④、玩转Sq ...
分类：
其他好文 时间：
2018-09-09 12:04:04
阅读次数：
193
一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf，使用sysctl -p命令即时生效。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 kernel.shmmax = 500000000 kernel. ...
分类：
其他好文 时间：
2018-02-24 16:45:32
阅读次数：
326
海牛部落为你送上2018新年好礼，最新录制《贴近企业项目的大数据实战课程视频》300节免费下载，其中包括：JAVA精品课程全套视频204节，HADOOP实战课程全套视频58节，MYSQL全套课程33节，大数据项目视频5节.视频免费下载请点击: 海牛部落—下载频道进行下载。或者：【海牛部落】是一个为大... ...
分类：
数据库 时间：
2018-02-24 13:04:29
阅读次数：
305
group By操作 map端部分聚合。并不是所有的聚合操作都需要在reduce部分进行，很多聚合操作都可以先在map端进行部分聚合，然后在reduce端得出最终结果。 hive.map.aggr=true，用于设定是否在map端进行聚合，默认为True。hive.groupby.mapaggr.c ...
分类：
其他好文 时间：
2017-08-16 09:55:34
阅读次数：
115
好不easy算法搞定了。小数据測试也得到了非常好的结果，但是扔到进群上。挂上大数据就挂了。无休止的reduce不会结束了。。。。。。。。。。。。。。。。 这才想起还有个combiner！。！！！。！！！。！！。！！！！！！！！ 我们知道。MapReduce是分为Mapper任务和Reducer任务。 ...
分类：
其他好文 时间：
2017-07-13 20:19:25
阅读次数：
142
import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flume.EventDeli... ...
分类：
Web程序 时间：
2017-05-17 01:00:10
阅读次数：
221
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r... ...
分类：
Web程序 时间：
2017-05-17 00:57:56
阅读次数：
385
import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import org.apache.flume.Channe... ...
分类：
Web程序 时间：
2017-05-17 00:53:02
阅读次数：
227
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r... ...
分类：
Web程序 时间：
2017-05-17 00:51:41
阅读次数：
180
a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.source... ...
分类：
Web程序 时间：
2017-05-17 00:49:52
阅读次数：
216
