Spark源码编译官方文档:https://spark.apache.org/docs/latest/building-spark.html用于编译源码的机器最好满足如下配置:CPU>=4核内存>=8G首先安装好JDK、Scala和Maven,由于安装都比较简单,本文就不演示了,我这里使用的JDK、Scala和Maven版本如下:[root@spark01~]#java-version
分类:
其他好文 时间:
2020-10-27 11:54:44
阅读次数:
43
草捏子最近开始学习Kafka。在学习前,给自己确定了下学习的范围,大致如下:理解Kafka的相关概念;掌握Kafka的基本API使用;了解Kafka的背后原理。后续将在这学习范围内输出一些相关文章。那么本文作为Kafka系列的第一篇文章,将从“理解Kafka的相关概念”说起。首先Kafka是什么。Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeepe
分类:
其他好文 时间:
2020-10-27 11:52:25
阅读次数:
31
package test /** * scala中的:: , +:, :+, :::, +++, 等操作; */ object listTest { def main(args: Array[String]): Unit = { val list = List(1,2,3) // :: 用于的是向队 ...
分类:
其他好文 时间:
2020-10-26 11:23:59
阅读次数:
20
在Scala中,元组是一个包含了固定数量的元素的值,且每个元素都有自己的类型。元组是不可变的。 元组特别适用于一个方法返回多个值的场景。 一个二元元组可以按如下方式创建: val ingredient = ("Sugar" , 25) 这个元组包含了一个 String 类型的元素和一个 Int 类型 ...
分类:
编程语言 时间:
2020-10-24 11:54:27
阅读次数:
42
今天来安装kafka 安装kafka前台必须安装zookeeper 不会安装请移步:点我快速进入安装zookeeper文章 一、安装kafka 下载kafka两种方式 1、手动下载 下载地址:http://kafka.apache.org/downloads 下载好了然后上传服务器(不在这里赘述。前 ...
分类:
其他好文 时间:
2020-10-21 20:38:04
阅读次数:
22
在绘制 dag 图时,通过节点和来箭头的连线来表示节点彼此之间的关系。而节点常常又带有状态,为了更好的表示节点之间的流程关系,loading 状态的节点,与后续节点之间,需要用 动画着的虚线 表示,表示正在处理中,处理完才会变成实线。原理同页面没加载出来之间,加个 loading 提示,能提供更好的 ...
分类:
Web程序 时间:
2020-10-18 17:06:39
阅读次数:
48
1.数据类型: es5:字符串(string)、数字(number),undefined、null、对象(object)、布尔值(boolean)共六种; es6:字符串(string)、数字(number),undefined、null、对象(object)、布尔值(boolean)、symbol ...
分类:
Web程序 时间:
2020-10-16 11:09:50
阅读次数:
27
解决方法是: 1、“file”-“Project Structure” 2、选择自己jdk对应版本,然后apply-ok ...
分类:
其他好文 时间:
2020-10-16 11:05:21
阅读次数:
25
在上一章中SpringBoot整合RabbitMQ,已经详细介绍了消息队列的作用,这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的,高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势,被广泛用来记录日志 ...
分类:
编程语言 时间:
2020-10-13 17:35:42
阅读次数:
33
看了ES6的官方文档,把常用到的一些对象的方法记录一下,以便增加印象。 (1)for...in for...in循环遍历对象自身的和继承的可枚举属性(不含 Symbol 属性)。 let obj = { 'code': 123, 'name': 'take', 'ccc': function(){} ...
分类:
其他好文 时间:
2020-09-24 22:08:25
阅读次数:
52