1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFS（Hadoop分布式文件系统）是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于 ...
分类：
其他好文 时间：
2021-03-02 12:24:42
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:20:23
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
cd,pwd,ls,cp,mv,history,ps,top,netstat,grep,tar-cvf/xvf,这些是基本的 touch,cat,head,tail,跟文件相关 vim命令 vi,进入文件页， i，插入 esc,切换插入模式和命令模式，然后：wq,保存后退出 最近重点学习了awk命令 ...
分类：
系统相关 时间：
2021-03-02 11:57:34
阅读次数：
0
因为自己的问题，在Git设置邮箱的时候打成了域名，一直没有发现，直到在Gitee上看项目的时候，发现了两个我的头像，才知道自己的配置错了。笑 如果你只是想要修改最后一次提交的历史（没有推送到远程服务器），可以使用命令： git commit --amend 像我这样的，只能重写整个Git历史。 为了 ...
分类：
其他好文 时间：
2021-03-01 13:20:48
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
介绍 strace是一个动态跟踪工具，它可以跟踪系统调用的执行。我们可以把他当成一个键盘记录的后门，来扩大我们的信息收集范围 使用场景 通过其他方式拿到shell,通过history、流量抓包、或者本地没有翻到密码的情况。我们想要获取当前主机的密码，或者通过这台主机连接到其他主机的密码。 记录ssh ...
分类：
系统相关 时间：
2021-02-22 12:37:54
阅读次数：
0
在介绍 Spark SQL之前，我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如： sc.para ...
分类：
数据库 时间：
2021-02-16 12:29:50
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
JavaScript-DOM和BOM 1. JavaScript组成 JavaScript和ECMAScript通常都被人们用来表达相同的含义，但JavaScript的含义却比ECMA-262中规定的要多得多。 组成部分: 1、核心( ECMAScript)：JavaScript语言的核心，包含基本 ...
分类：
编程语言 时间：
2021-02-16 11:48:43
阅读次数：
0
