一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
Warning:<i><b>root project 'mlibmodel': Unable to build Scala project configuration</b>Details: org.gradle.api.GradleException: Cannot infer Scala cla ...
分类：
其他好文 时间：
2020-05-05 16:23:28
阅读次数：
182
1. 是不是只有java编译器才可以将java转为class 字节码文件？ 不是的，jRuby/Groovy/Scala/Jython 都是可以编译成字节码文件的。 2. 计算机是以010101的方式执行的。 3. 什么是u1,u2,u4,u8 u1: 一个字节； u2: 二个字节； u4: 4个字 ...
分类：
其他好文 时间：
2020-05-05 11:04:18
阅读次数：
55
1. shell的特殊位置变量 特殊变量的作用及变量实践，dirname,basename功能 bash [root@zabbix scripts] cat n.sh !/bin/bash echo $0 若不带路径执行脚本，那么输出结果就是脚本的名字 [root@zabbix scripts] s ...
分类：
系统相关 时间：
2020-05-04 21:02:05
阅读次数：
80
操作系统 Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件 应该说部署在 Linux 上的生产环境是最多的 主要是在下面这三个方面上，Linux 的表现更胜一筹。 I/O 模型的使用 数据网络传输效率 社区支持度 主流的 I/O 模型通常有 ...
分类：
其他好文 时间：
2020-05-02 23:13:44
阅读次数：
68
一、函数作为参数 highOrderFunc是一个高阶函数，因为它可以接收一个函数作为参数 object PartialFunctionDemo { def main(args: Array[String]): Unit = { val add = (d: Double) => d + 1 val ...
分类：
其他好文 时间：
2020-05-02 14:53:58
阅读次数：
54
什么是纯函数 纯函数是函数式编程中的一个根本概念. 纯函数要求一个函数输入对应输出, 没有其它任何副作用, 且引用透明. 过程: 没有返回值, 只有副作用的函数 一个纯函数有以下要求: 没有副作用 不向控制台打印 不向文件写入数据 不更改外部变量 不向其它文件系统写入数据 引用透明 这个函数执行结果... ...
分类：
其他好文 时间：
2020-05-01 11:06:27
阅读次数：
53
1. continue import scala.util.control.Breaks._for(){ breakable{ if(){ break // continue } } } 2.break import scala.util.control.Breaks._breakable{ for ...
分类：
其他好文 时间：
2020-04-30 15:36:57
阅读次数：
102
一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类：
其他好文 时间：
2020-04-28 20:13:43
阅读次数：
57
本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序： 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍 IntelliJ IDEA 本文使用版本为： ideaIC 2020.1 IDEA 全称 Int ...
分类：
编程语言 时间：
2020-04-28 14:59:06
阅读次数：
59
