1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:20:23
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
操作系统 概念：操作系统是指控制和管理整个计算机系统的硬件和软件资源，并合理组织和调度计算机的工作和资源分配，是最基本的系统软件。 特征∶并发、共享（两个最基本的特征）、虚拟、异步。 并发∶指同一时间间隔内发生，区别于并行。微观上分时地交替执行。 功能∶是计算机系统资源（处理机、存储器、文件、设备） ...
分类：
其他好文 时间：
2021-02-23 14:29:36
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
在介绍 Spark SQL之前，我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如： sc.para ...
分类：
数据库 时间：
2021-02-16 12:29:50
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
1.需求 /** * 需求：每两个元素输出一次 */2 代码 package com.nx.streaming.lesson03; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api ...
分类：
其他好文 时间：
2021-02-15 12:25:40
阅读次数：
0
基数：不重复的元素 Redis Hyperloglog：用于做基数统计的算法 优点：占用的内容是固定的，2^64不同的元素的技术，只需要占用12kb内存！如果要从内存角度来比较的话Hyperloglog首选。 hyper log log命令以"pf"开头。 1.利用pfadd命令添加 127.0.0 ...
分类：
其他好文 时间：
2021-02-15 12:09:23
阅读次数：
0
一、概述 1.1、Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2、Kafka Streams特点 功能强大 高扩展性，弹性，容错 轻量级 轻量级 ...
分类：
其他好文 时间：
2021-02-10 13:05:33
阅读次数：
0
技术纲1：根据计算机体系 自底向上 梳理的大纲 一级分类二级分类三级分类要点说明链接 架构 设计哲学 架构 架构-演进历史 架构 架构-微服务设计模式 架构 架构-DDD 设计模式 面向对象SOLID原则 设计模式 21款开发设计模式 中间件 容错-熔断 中间件 容错-限流 中间件 监控-JVM 中 ...
分类：
编程语言 时间：
2021-02-09 12:34:35
阅读次数：
0
