MapReduce的处理流程解析 Mapper任务执行过程详解 l第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size。每一个切片由一个MapTask处理。（getSplits） l第二阶段是对切片中的数据按照一定的规则解 ...
分类：
其他好文 时间：
2019-09-14 21:03:52
阅读次数：
105
目的 记录学习hadoop过程中遇到的基础问题，无关大小、无关困扰时间长短。 问题一 全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHostException: 没有到主机的路由 在全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHo ...
分类：
其他好文 时间：
2019-09-14 19:02:52
阅读次数：
133
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
hadoop 搭建 常用命令记录 快捷键安装在/user/local/bin目录下 1. nano 文件名 ctrl + k 剪切一行 ctrl + o 保存并重命名，不重命名直接enter ctrl + x 退出 ctrl + u 粘贴 2. 启动： start dfs.sh + start ya ...
分类：
其他好文 时间：
2019-09-06 23:19:14
阅读次数：
197
意思说在 hdfs://localhost:9000/usr/local/spark/zytdemo找不到响应的文件，我们可以分析的得到他并不是加载本地文件，而是区hdfs上查找。 这是由于我们在之前配置时修改过 /usr/local/hadoop/etc/hadoop下的core-site.xml ...
分类：
Web程序 时间：
2019-09-06 18:36:47
阅读次数：
126
WordCountMapper WordCountMapper WordCountReducer ...
分类：
编程语言 时间：
2019-09-05 00:49:05
阅读次数：
104
hive调优 参数调优 1、map阶段数据压缩set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset m ...
分类：
其他好文 时间：
2019-09-01 16:43:36
阅读次数：
152
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注：拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长，一般写成shell脚本。（运行需要 ...
分类：
其他好文 时间：
2019-08-28 15:57:39
阅读次数：
87
一.环境支持 操作系统: CentOS7 64 JDK环境: JDK 8 Hadoop环境: hadoop-2.8.0 虚拟机名称: master(主)+slave1(从1)+slave2(从2) CentOS7 64位百度网盘下载地址： 链接：https://pan.baidu.com/s/1dc ...
分类：
其他好文 时间：
2019-08-22 18:39:38
阅读次数：
111
