一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 本人电脑硬件相对落后，对运行虚拟机以及处理大量数据方面并不友好，因此我选择第二项kaggle分析数据项目：泰坦尼克号的生存预测。 二、实践方案 简要说明理由。 下载准备好数据集，使用训练数据集对模型行进行训 ...
分类：
其他好文 时间：
2020-06-23 20:56:37
阅读次数：
57
一、选题与意义 1.Hadoop平台应用 选题：Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用； 了解大数据处理的基本流程； 熟悉数据预处理方法； 熟悉在不同类型数据库 ...
分类：
其他好文 时间：
2020-06-23 19:18:44
阅读次数：
72
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 1. ...
分类：
其他好文 时间：
2020-06-23 19:18:25
阅读次数：
45
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 Kaggle分析数据项目：亚马孙乐器的评测 https://www.kaggle.com/eswarchandt/amazon-music-reviews 选择第二个题目，Kaggle分析数据项目，理由是H ...
分类：
其他好文 时间：
2020-06-23 17:18:13
阅读次数：
47
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 选择1.Hadoop平台应用， 淘宝双11数据分析与预测 理由：比较有兴趣 二、实践方案 步骤零：实验环境准备 查看实验指南 步骤一：本地数据集上传到数据仓库Hive 查看实验指南 步骤二：Hive数据分析 查看实验指南 步骤三 ...
分类：
其他好文 时间：
2020-06-23 17:11:36
阅读次数：
53
1.系统常用检查命令 1 磁盘 df -h 2 内存 free -m 3 负载 top 4 5 [hadoop@bigdata ~]$ free -m 6 total used free shared buff/cache available 7 Mem: 7823 222 6229 257 137 ...
分类：
系统相关 时间：
2020-06-23 15:37:42
阅读次数：
82
一、概述 1.是Hadoop中的一套分布式的计算框架 2.将整个计算过程拆分为2个阶段：Map阶段、Reduce阶段 3.Map阶段一般负责数据的整理，Reduce阶段负责数据的汇总 4.如果输入路径是一个文件，则MapReduce只处理这个文件；如果输入的是一个目录，则处理这个目录下的所有文件 - ...
分类：
其他好文 时间：
2020-06-23 15:36:59
阅读次数：
38
Hive llap服务安装说明及测试 参考：https://www.cnblogs.com/hdpdriver/p/7642729.html 1.简介说明 从Hive 2.0引入了LLAP（Live Long And Process），2.1进行了比较大的优化，可以说hive已经走向了内存计算， 目 ...
分类：
其他好文 时间：
2020-06-23 15:26:38
阅读次数：
174
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 *说明 ...
分类：
其他好文 时间：
2020-06-23 15:03:21
阅读次数：
42
