批量执行检查脚本： #!/bin/bash file_name="$1" if [ -z "$file_name" ];then echo "Pls input file path" exit 1 fi cat "$file_name"| while read line do hadoop fsck ...
分类：
其他好文 时间：
2020-06-24 17:58:36
阅读次数：
56
数据准备：【1】mysql数据库导出，以逗号间隔，方便后期解析【2】提交服务器：rz 上传到Linux虚拟机中【3】提交到集群中：hadoop fs –put emp.csv /input搁浅：关闭安全模式：hdfs dfsadmin -safemode leave实现简单的输入内容到文件： -ec... ...
分类：
其他好文 时间：
2020-06-24 15:54:09
阅读次数：
61
/bin/目录下下 sh zkCli.sh 进入客户端目录下： 查看根目录 [zk: localhost:2181(CONNECTED) 11] ls /[cluster, controller, brokers, zookeeper, admin, isr_change_notification, ...
分类：
其他好文 时间：
2020-06-24 00:40:09
阅读次数：
206
一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 ...
分类：
其他好文 时间：
2020-06-24 00:32:41
阅读次数：
54
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 选择1.淘宝双11数据分析与预测 理由：之前接触过hadoop，所以打算重新把这个回忆起来。 意义：双十一的利益与我们密切相关，分析好了在双十一有可能可以更大折扣。 二、实践方案 简要说明理由。 利用虚拟机 ...
分类：
其他好文 时间：
2020-06-23 21:44:11
阅读次数：
74
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 选题： Hadoop 平台应用 网站用户购物行为分析 官网：http://dblab.xmu.edu.cn/post/7499/ 理由：感兴趣 意义：可以对用户购物行为进行分析 二、实践方案 个人电脑安装实 ...
分类：
其他好文 时间：
2020-06-23 21:41:43
阅读次数：
58
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 1、选题：淘宝双11数 ...
分类：
其他好文 时间：
2020-06-23 21:28:04
阅读次数：
54
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 本次实践选题为“2.Kaggle分析数据项目”， 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 ...
分类：
其他好文 时间：
2020-06-23 21:26:24
阅读次数：
55
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 答：我选择Hadoop平台应用-淘宝双11数据分析与预测，以前接触过Hadoop，但是有点忘记，可以重新复习一下，进一步熟悉linux命令，。 二、实践方案 简要说明理由。 答：个人电脑安装实验环境。 三、 ...
分类：
其他好文 时间：
2020-06-23 21:21:52
阅读次数：
66
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 答： 题目：Kaggle分析数据项目 泰坦尼克号生还预测 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展 ...
分类：
其他好文 时间：
2020-06-23 21:18:27
阅读次数：
70
