代码存在码云:https://coding.net/u/funcfans/p/sparkProject/git 代码主要学习https://blog.csdn.net/u012318074/article/category/6744423/1这里的 发现样例作为正式项目来说效率太低了,为了知识点而知 ...
分类：
数据库 时间：
2019-01-29 18:14:01
阅读次数：
388
刚开始接触Spark被Hive在Spark中的作用搞得云里雾里，这里简要介绍下，备忘。 参考：https://blog.csdn.net/zuochang_liu/article/details/82292076 SparkSQL：是一个完全不依赖Hive的SQL引擎。 Spark On Hive ...
分类：
数据库 时间：
2019-01-26 18:51:51
阅读次数：
390
1.前提 首先是hadoop的两个服务要开启 然后是hive 的metastore 然后启动spark-shell，如果没有启动hive的metastore，则会在这一步报错，说找不到hive的9083端口。至于启动spark-shell，则是为了看4040端口上的JDBS/ODBC服务 然后启动h ...
分类：
数据库 时间：
2019-01-25 11:31:50
阅读次数：
256
先扯一下大数据的4V特征： 数据量大，TB->PB 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； 处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据的这几个特 ...
分类：
其他好文 时间：
2019-01-22 10:57:06
阅读次数：
256
一、SparkSQL介绍 二、DataFrame介绍 三、SQL风格 1、SqlTest1 2、user.txt 3、结果 四、toDF使用 五、DSL风格 结果： 六、WordCount 1、SqlWordCount 2、words.txt 3、结果 七、Join操作 1、JoinDemo 2、结 ...
分类：
数据库 时间：
2019-01-20 23:38:40
阅读次数：
1208
在执行spark on hive 的时候在 sql.show()处报错 ： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 报错详情： 说明：程序是在idea上本地 ...
分类：
编程语言 时间：
2019-01-09 18:40:10
阅读次数：
2288
一、SparkStreaming的介绍（1）为什么要有SparkStreaming？ Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。目前有三种比较常用的流式计算框架，它们分别是Storm，SparkStreaming和fink。（2）SparkStreamin
分类：
其他好文 时间：
2019-01-06 22:04:55
阅读次数：
190
接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLeve
分类：
数据库 时间：
2019-01-05 22:52:41
阅读次数：
252
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
