Spark SQL：数据库 Spark Streaming：流计算框架 GraphX:图计算框架 使用语言开发： SCALA语言学习(与Java完全兼容) 编程范式： 1，命令式语言：C，C++，Java...基于冯.诺依曼体系结构 2，函数式语言：充分利用多核CPU多线程并发能力 基于λ演算，并发 ...
分类：
其他好文 时间：
2020-01-14 23:47:05
阅读次数：
92
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发， ...
分类：
其他好文 时间：
2019-10-02 12:51:02
阅读次数：
1950
Scala语言快速入门（基本类型） （参考视频：av39126512，韩顺平281集scala精讲） 一、Linux和Windows环境安装 这部分跳过，直接使用IDEA进行搭建，和其他编程语言配置差不多 二、HelloWorld 1.object表示一个伴生对象（相当于一个对象） 2.HelloW ...
分类：
其他好文 时间：
2019-09-25 09:15:46
阅读次数：
258
scala的基础数据类型有7种：（无引用类型） Byte Char Short Int Long Float Double 两种变量类型定义：val(常量）var(变量) 使用val定义的常量，指引用的不可再改变，而用var变量引用的是可以进行改变，如下示： 注：scala语言可以不用定义变量的数据 ...
分类：
其他好文 时间：
2019-09-17 14:37:31
阅读次数：
97
为什么需要Kylin？ Hadoop帮助我们解决了海量数据的存储。 早期使用Hadoop的MapReduce计算模型，太慢了，只能做离线计算，无法做实时计算与迭代式计算。 Spark应运而生，并带动了Scala语言的发展，Spark的MapReduce计算模型比Hadoop的MapReduce计算模 ...
分类：
其他好文 时间：
2019-08-23 19:19:15
阅读次数：
115
大数据技术之Scala 第一篇：Scala编程语言 一、Scala语言基础 1、Scala简介 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的Java ME ...
分类：
其他好文 时间：
2019-07-26 09:21:14
阅读次数：
106
因为本人主要使用Scala语言，但是之前同事包括老大都是使用python，加上python在spark的使用中的确越来越受欢迎，所以最近准备入坑python，但是装完写demo的时候出了问题，如下： 查了下发现，这是python编码的问题， python中默认的编码格式是ASCII格式， 所以在没修 ...
分类：
编程语言 时间：
2019-06-30 18:47:37
阅读次数：
137
1、什么是泛型类 和Java或者C++一样，类和特质可以带类型参数。在Scala中，使用方括号来定义类型参数 测试程序： 2、什么是泛型函数 函数和方法也可以带类型参数。和泛型类一样，我们需要把类型参数放在方法名之后。 注意：这里的ClassTag是必须的，表示运行时的一些信息，比如类型。 3、Up ...
分类：
编程语言 时间：
2019-06-19 15:04:32
阅读次数：
123
一：scala简介 官网：https://www.scala-lang.org/ Scala语言很强大，集成了面向对象和函数式编程的特点。 运行在JVM（jdk）。 大数据中为什么学习scala? spark是scala语言编写。 python写spark 挺好的 java写spark 很糟糕(代码 ...
分类：
编程语言 时间：
2019-06-11 22:15:54
阅读次数：
153
