安装JDK安装Hadoop配置环境变量配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves安装JDKcd/usr/local/srcwgethttp://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.tar.gz?AuthParam=1458008151_64a44ef61864b914ee2cb..
分类：
其他好文 时间：
2016-04-08 15:35:55
阅读次数：
175
出自：https://segmentfault.com/a/1190000000709725 Hadoop参数大全 主要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop.common.configuratio ...
分类：
其他好文 时间：
2016-04-05 09:22:33
阅读次数：
253
//这个是在原来的基础上改动以后得到的，将当中的分词的根据给换掉了，而且进行词频统计的时候会自己主动的忽略大写和小写 packageorg.apache.hadoop.mapred; importjava.io.IOException; importjava.util.ArrayList; impo ...
分类：
其他好文 时间：
2016-03-23 21:40:57
阅读次数：
261
（2-6为性能优化）（7-9为函数介绍） 1.在JobHistory里面可以看到job相关的一些信息，用start-all启动Hadoop时便可以进入端口号8088查看查看信息，但是无法进入端口号19888查看history。 只需要启动jobhistory即可，命令：mapred historys
分类：
其他好文 时间：
2016-03-04 20:54:59
阅读次数：
163
1、Hadoop启动或停止 1）第一种方式 分别启动 HDFS 和 MapReduce，命令如下： 启动： $ start-dfs.sh $ start-mapred.sh 停止： $ stop-mapred.sh $ start-dfs.sh 2）第二方式 全部启动或者全部停止 启动：start-
分类：
其他好文 时间：
2016-03-04 16:15:58
阅读次数：
122
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map 的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先
分类：
其他好文 时间：
2016-02-22 19:10:21
阅读次数：
190
主要配置 core-site.xml hdfs-site.xml mapred-site.xml
分类：
其他好文 时间：
2016-02-20 22:54:07
阅读次数：
200
1. 查询语句可以加上一句： -- 定义job名字SET mapred.job.name='customer_rfm_analysis_L1'; 这样在job任务列表里可以第一眼找到自己的任务。 2. 少用distinct, 因为会把数据弄在一个reduce中，造成数据倾斜。 尽量用group by
分类：
其他好文 时间：
2016-02-19 18:55:45
阅读次数：
154
1， 使用hive标记random：（如果是mr，就自己标记random值） use ps; set mapred.job.priority=VERY_HIGH; set mapred.job.map.capcity=300; set mapred.reduce.tasks=200; insert
分类：
其他好文 时间：
2016-02-16 14:45:04
阅读次数：
104
16/02/15 08:56:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in sa...
分类：
其他好文 时间：
2016-02-16 06:32:11
阅读次数：
217
