一、流 动态产生无穷多的数据，末尾元素遵循lazy规则 object StreamDemo { //生成流的方法 def numStream(n: BigInt): Stream[BigInt] = n #:: numStream(n + 1) def main(args: Array[String ...
分类：
其他好文 时间：
2020-04-23 11:50:31
阅读次数：
68
Summary 在获取 a 标签中的 href 值得时候，发现可以获取到相对地址，但是使用 abs:href 的是返回结果是空的。 查看文档发现，Jsoup.parse 的第二个参数可以传入 baseURL，我们在这里获取即可。 Demo Scala 代码 val urlList = Jsoup.p... ...
分类：
Web程序 时间：
2020-04-22 20:19:26
阅读次数：
310
参考：https://www.jianshu.com/p/69bff3c7ec97 Scala的集合类可以从三个维度进行切分： 可变与不可变集合（Immutable and mutable collections） 静态与延迟加载集合 （Eager and delayed evaluation ) ...
分类：
其他好文 时间：
2020-04-22 16:18:11
阅读次数：
63
一. Spark简介 1.1 前言 Apache Spark是一个计算系统，它的处理速度很快，很通用，并且能集群部署。可以通过Scala，Java，Python和R来操作API。它还提供了了一些高级工具，比如Spark SQL（通过SQL操作）,MLlib(机器学习用的)，Graphx（图形化操作用 ...
分类：
其他好文 时间：
2020-04-20 11:44:10
阅读次数：
80
package com.atguigu.bigdata.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: ...
分类：
其他好文 时间：
2020-04-19 18:04:25
阅读次数：
66
方法名称： // 类Method的名称：getXXX，返回值类型不应该是Unit，取一些东西，就应该明确返回值类型，该Method里面不能产生副作用。 def getName:String = {} // 推荐写法 def getName:Unit = {} // 不推荐写法 // 类Method的... ...
分类：
其他好文 时间：
2020-04-18 10:13:45
阅读次数：
80
代码洁癖 我们写代码给计算机运行，但是读代码的不仅仅是计算机，还有我们的战友（同事），还有未来的战友。 我们不能做一个猪队友，所以保证通用的代码规范是必要的。 每行代码需要有一个合理的长度 避免从左到右有很长的代码，当理解这行代码的时候会占用我们的思维。 在印刷制品中，最合理的长度在50-70个字符... ...
分类：
其他好文 时间：
2020-04-18 10:00:09
阅读次数：
82
说明 从本质上来讲，fold方法读取一种数据，然后返回给你另外一种。 fold和foldLeft和foldRight做的事同样的事情，仅有一点点不同。 fold val numbers = List(1, 2, 3, 4, 5) val res = numbers.fold(10) { (z, i)... ...
分类：
其他好文 时间：
2020-04-18 09:32:45
阅读次数：
47
简单解释 方法(method) 在OOP中，方法作用于对象，是对象的行为，Java中的方法这样的，在Scala中的方法(method)也是如此，定义method的基本格式： def 方法名称（参数列表）：返回值 = 方法体 函数(function) 在scala中，函数被看做是一等公民，定义函数基本... ...
分类：
其他好文 时间：
2020-04-18 09:28:14
阅读次数：
56
一、概述1.1、简介Kafka最初是由LinkedIn公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。ApacheKafka也是一个开源消息系统，由Scala写成；Kafka是一个分布式消息队列。Kafka对消息保存是根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每
分类：
其他好文 时间：
2020-04-17 09:28:47
阅读次数：
71
