一、Scala简介 官网：www.scala-lang.org Scala语言很强大，它集成了面对对象和函数式编程的特点，并且运行在JVM(Java Virtual Machine)上，即必须安装jdk。 问题：学习大数据为什么Scala语言？ 因为大数据的一个重要组件：spark是用Scala语言 ...
分类：
其他好文 时间：
2019-01-05 21:35:18
阅读次数：
182
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java
EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道git clone，fork，branch的概念。5。有网络基础，至少知道服务器端和客户端的区别。6.有大数据基础，最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark，Storm。7.有mysql数据库基础，至少会最基本的增删改查。
分类：
其他好文 时间：
2018-12-03 20:00:55
阅读次数：
697
问题简介：在工作中，表字段多到一定程度，Select 中的字段和结果集中的字段对比很麻烦，还容易出错。于是写了一个检查Select和Insert的方法。（使用的是Scala语言） 1.先判断语句是select语句还是insert语句 2.如果是select语句，使用如下方法 3.如果是insert语 ...
分类：
其他好文 时间：
2018-11-26 22:07:19
阅读次数：
226
现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现; 基本概念 首先，Kafka 中有一些基本的概念需要熟悉。 Topic，指消息的类别，每个消息都必须有； Produc ...
分类：
其他好文 时间：
2018-11-08 16:30:49
阅读次数：
161
使用spark 对以下内容进行词频统计 （使用Scala语言） 代码如下： ...
一、Scala语言基础 1、Scala语言简介 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。 学习Scala编程语言，为后续学习Spark奠定基础。 2、为什么要学Scala l ...
分类：
其他好文 时间：
2018-10-24 01:21:10
阅读次数：
249
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于
分类：
其他好文 时间：
2018-10-18 16:57:12
阅读次数：
137
一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。 在大数据系统中，常常会碰到一 ...
分类：
其他好文 时间：
2018-10-18 00:47:23
阅读次数：
159
没有套路真的是送！！ 大家都知道，大数据行业spark很重要，而学spark又必须得会scala，贴心的大叔给你找了份spark+scala的资料。 一个好的程序猿的基本素养是学习能力和自驱力。视频给了你们，能不能坚持下来学习，就只能靠自己了，另外大叔每周会不定期更新《每日五分钟搞定大数据》原创系列 ...
分类：
编程语言 时间：
2018-09-17 14:38:53
阅读次数：
133
idea开发Scala语言 写的WordCount 可以上传到Spark集群测试 ...
分类：
其他好文 时间：
2018-08-09 20:07:13
阅读次数：
123
