一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 1. ...
分类：
其他好文 时间：
2020-06-23 19:18:25
阅读次数：
45
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 Kaggle分析数据项目：亚马孙乐器的评测 https://www.kaggle.com/eswarchandt/amazon-music-reviews 选择第二个题目，Kaggle分析数据项目，理由是H ...
分类：
其他好文 时间：
2020-06-23 17:18:13
阅读次数：
47
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 选择1.Hadoop平台应用， 淘宝双11数据分析与预测 理由：比较有兴趣 二、实践方案 步骤零：实验环境准备 查看实验指南 步骤一：本地数据集上传到数据仓库Hive 查看实验指南 步骤二：Hive数据分析 查看实验指南 步骤三 ...
分类：
其他好文 时间：
2020-06-23 17:11:36
阅读次数：
53
1.系统常用检查命令 1 磁盘 df -h 2 内存 free -m 3 负载 top 4 5 [hadoop@bigdata ~]$ free -m 6 total used free shared buff/cache available 7 Mem: 7823 222 6229 257 137 ...
分类：
系统相关 时间：
2020-06-23 15:37:42
阅读次数：
82
一、概述 1.是Hadoop中的一套分布式的计算框架 2.将整个计算过程拆分为2个阶段：Map阶段、Reduce阶段 3.Map阶段一般负责数据的整理，Reduce阶段负责数据的汇总 4.如果输入路径是一个文件，则MapReduce只处理这个文件；如果输入的是一个目录，则处理这个目录下的所有文件 - ...
分类：
其他好文 时间：
2020-06-23 15:36:59
阅读次数：
38
Hive llap服务安装说明及测试 参考：https://www.cnblogs.com/hdpdriver/p/7642729.html 1.简介说明 从Hive 2.0引入了LLAP（Live Long And Process），2.1进行了比较大的优化，可以说hive已经走向了内存计算， 目 ...
分类：
其他好文 时间：
2020-06-23 15:26:38
阅读次数：
174
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 *说明 ...
分类：
其他好文 时间：
2020-06-23 15:03:21
阅读次数：
42
只是为了记录一下，出处看最后 一，安装 apache 1，安装 apache [hadoop@YunMaster ~]$ sudo yum -y install httpd httpd-manual mod_ssl mod_perl mod_auth_mysql 2，启动 apache [hadoo ...
分类：
其他好文 时间：
2020-06-22 22:39:34
阅读次数：
66
dfs目录位置由core-site.xml文件中 hadoop.tmp.dir 属性决定 ：hadoop.tmp.dir属性对应值/dfs 1.dfs目录是在NameNode被格式化的时候产生的 格式化：首先在停止hadoop之后，删除 hadoop.tmp.dir 属性对应值目录下的所有文件后，执 ...
分类：
其他好文 时间：
2020-06-22 12:36:38
阅读次数：
145
