package com.atguigu.bigdata.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: ...
分类：
其他好文 时间：
2020-04-19 18:04:25
阅读次数：
66
方法名称： // 类Method的名称：getXXX，返回值类型不应该是Unit，取一些东西，就应该明确返回值类型，该Method里面不能产生副作用。 def getName:String = {} // 推荐写法 def getName:Unit = {} // 不推荐写法 // 类Method的... ...
分类：
其他好文 时间：
2020-04-18 10:13:45
阅读次数：
80
代码洁癖 我们写代码给计算机运行，但是读代码的不仅仅是计算机，还有我们的战友（同事），还有未来的战友。 我们不能做一个猪队友，所以保证通用的代码规范是必要的。 每行代码需要有一个合理的长度 避免从左到右有很长的代码，当理解这行代码的时候会占用我们的思维。 在印刷制品中，最合理的长度在50-70个字符... ...
分类：
其他好文 时间：
2020-04-18 10:00:09
阅读次数：
82
说明 从本质上来讲，fold方法读取一种数据，然后返回给你另外一种。 fold和foldLeft和foldRight做的事同样的事情，仅有一点点不同。 fold val numbers = List(1, 2, 3, 4, 5) val res = numbers.fold(10) { (z, i)... ...
分类：
其他好文 时间：
2020-04-18 09:32:45
阅读次数：
47
简单解释 方法(method) 在OOP中，方法作用于对象，是对象的行为，Java中的方法这样的，在Scala中的方法(method)也是如此，定义method的基本格式： def 方法名称（参数列表）：返回值 = 方法体 函数(function) 在scala中，函数被看做是一等公民，定义函数基本... ...
分类：
其他好文 时间：
2020-04-18 09:28:14
阅读次数：
56
一、概述1.1、简介Kafka最初是由LinkedIn公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。ApacheKafka也是一个开源消息系统，由Scala写成；Kafka是一个分布式消息队列。Kafka对消息保存是根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每
分类：
其他好文 时间：
2020-04-17 09:28:47
阅读次数：
71
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
这里以将Apache的日志写入到ElasticSearch为例，来演示一下如何使用Python将Spark数据导入到ES中。 实际工作中，由于数据与使用框架或技术的复杂性，数据的写入变得比较复杂，在这里我们简单演示一下。 如果使用Scala或Java的话，Spark提供自带了支持写入ES的支持库，但 ...
分类：
编程语言 时间：
2020-04-17 00:06:51
阅读次数：
83
1.前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信(ssh免密)。 1.2 Java1.8环境已经配置好 1.3 Hadoop集群已经完成搭建 1.4 Scala软件包和Spark软件包的下载 https://www.scala-lang.org/download/ http://spar ...
分类：
其他好文 时间：
2020-04-17 00:05:12
阅读次数：
66
2.9 Class Template Argument Deduction 2.9 类模板实参的推导 Until C++17, you always had to pass all template parameter types to class templates(unless they hav ...
分类：
其他好文 时间：
2020-04-15 23:00:33
阅读次数：
88
