1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？” 面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心里没底，咱也不敢问，咱也不敢说，只能静下来默默储备、默默寻觅解决方案。 关注“一猿小讲”公众号的小伙伴们，今天有福啦，因为今天我们将一起跳出系统之外，共同迈入大数据之 ...
分类：
其他好文 时间：
2020-04-04 09:24:57
阅读次数：
80
package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo ...
分类：
其他好文 时间：
2020-04-03 12:32:15
阅读次数：
282
1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom 4.阿里云settings配置 <?xml version="1.0"?> <settings xsi:schemaLocation="http://maven.apache ...
分类：
其他好文 时间：
2020-04-02 19:37:02
阅读次数：
213
import com.alibaba.fastjson.{JSON, JSONObject} val str="{\"boxId\":\"001\",\"allContent\":[{\"fruitName\":\"apple\",\"weight\":\"1\"},{\"fruitName\":\ ...
分类：
Web程序 时间：
2020-04-02 17:40:49
阅读次数：
104
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
# 使用SparkSQL编写wordCount的词频统计 ## word.txt```hello hello scala sparkjava sql html java hellojack jack tom tom you he he sql``` ## spark 代码：```objec ...
分类：
数据库 时间：
2020-03-30 21:50:35
阅读次数：
213
我们已经在CentOS7中安装了spark，本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类：
其他好文 时间：
2020-03-30 00:07:08
阅读次数：
103
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
与Scala语言相比，Python有其独特的优势和广泛的应用，python调用接口,因此Spark也推出了PySpark，它在框架上提供了一个使用Python语言的接口，python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类：
编程语言 时间：
2020-03-29 01:41:51
阅读次数：
92
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
