template.j2 模板 {{ansible_facts.hostname}}:{{ansible_default_ipv4.address}} This system's total memory is: {{ ansible_memtotal_mb }}MBs. The current fr ...
分类:
其他好文 时间:
2020-06-23 19:45:22
阅读次数:
71
一、选题与意义 1.Hadoop平台应用 选题:Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用; 了解大数据处理的基本流程; 熟悉数据预处理方法; 熟悉在不同类型数据库 ...
分类:
其他好文 时间:
2020-06-23 19:18:44
阅读次数:
72
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目,明确实验步骤,分解任务到每天。 四、实践计划 按任务分解撰写计划表,每天按计划表开展工作。 第天根据实际情况更新计划表,有必要时调整。 1. ...
分类:
其他好文 时间:
2020-06-23 19:18:25
阅读次数:
45
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等),对这些基础技术知识动态的排列组合,形成大数据全局架构观,并深入讲述大数据全局架构设计的方方面面,打造真正满足企业万亿级海量数据规模的数据中台,真正赋能前台业务。同时,在企业万亿级真实项目落地环节,采用高性能、高可用、高扩展的架构设计原则,技术上更是融合了企业级主流的离线架构和实时架构,带领大家构建
分类:
其他好文 时间:
2020-06-23 18:39:30
阅读次数:
58
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 Kaggle分析数据项目:亚马孙乐器的评测 https://www.kaggle.com/eswarchandt/amazon-music-reviews 选择第二个题目,Kaggle分析数据项目,理由是H ...
分类:
其他好文 时间:
2020-06-23 17:18:13
阅读次数:
47
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 选择1.Hadoop平台应用, 淘宝双11数据分析与预测 理由:比较有兴趣 二、实践方案 步骤零:实验环境准备 查看实验指南 步骤一:本地数据集上传到数据仓库Hive 查看实验指南 步骤二:Hive数据分析 查看实验指南 步骤三 ...
分类:
其他好文 时间:
2020-06-23 17:11:36
阅读次数:
53
1.系统常用检查命令 1 磁盘 df -h 2 内存 free -m 3 负载 top 4 5 [hadoop@bigdata ~]$ free -m 6 total used free shared buff/cache available 7 Mem: 7823 222 6229 257 137 ...
分类:
系统相关 时间:
2020-06-23 15:37:42
阅读次数:
82
一、概述 1.是Hadoop中的一套分布式的计算框架 2.将整个计算过程拆分为2个阶段:Map阶段、Reduce阶段 3.Map阶段一般负责数据的整理,Reduce阶段负责数据的汇总 4.如果输入路径是一个文件,则MapReduce只处理这个文件;如果输入的是一个目录,则处理这个目录下的所有文件 - ...
分类:
其他好文 时间:
2020-06-23 15:36:59
阅读次数:
38
Hive llap服务安装说明及测试 参考:https://www.cnblogs.com/hdpdriver/p/7642729.html 1.简介说明 从Hive 2.0引入了LLAP(Live Long And Process),2.1进行了比较大的优化,可以说hive已经走向了内存计算, 目 ...
分类:
其他好文 时间:
2020-06-23 15:26:38
阅读次数:
174
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目,明确实验步骤,分解任务到每天。 四、实践计划 按任务分解撰写计划表,每天按计划表开展工作。 第天根据实际情况更新计划表,有必要时调整。 *说明 ...
分类:
其他好文 时间:
2020-06-23 15:03:21
阅读次数:
42