在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误， 可以先用row.isNullAt(index)去判断该字段的值是否为空 首先上错误 修改为先初始化变量，判断row.isNullAt(6) ...
分类：
数据库 时间：
2019-04-21 09:27:35
阅读次数：
208
创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。 读取json文件创建DataFrame 注意：普通临时view是S ...
分类：
数据库 时间：
2019-04-11 14:33:27
阅读次数：
183
前言 在Spark中，结构化查询可以通过指定查询提示(hint)来进行优化。 查询提示，即向查询加入注释，告诉查询优化器提供如何优化逻辑计划， 这在查询优化器无法做出最佳决策时十分有用。 Spark SQL支持COALESCE，REPARTITION以及BROADCAST提示。 在分析查询语句时，所 ...
分类：
数据库 时间：
2019-04-08 13:12:53
阅读次数：
484
1.创建一个类继承UserDefinedAggregateFunction类。 ...
分类：
数据库 时间：
2019-04-06 19:15:29
阅读次数：
172
package cn.piesat.testimport org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ArrayBufferobject SparkSQLTest { def main(args: Array[St ...
分类：
数据库 时间：
2019-04-06 15:27:58
阅读次数：
200
操作MySQL的数据:spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sparksql").option("dbtable", "sparksql.TBLS").option("user", "root").o ...
分类：
数据库 时间：
2019-03-30 18:44:52
阅读次数：
214
1、Flume 2、Flume角色 3、flume使用 4、flume安装配置 5、flume监听端口 6、flume监听本地linux文件采集到hdfs 7、监听文件夹 8、多个channel/sink ...
分类：
Web程序 时间：
2019-03-09 19:01:45
阅读次数：
214
1.Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Sha ...
分类：
数据库 时间：
2019-03-03 19:09:32
阅读次数：
221
本文由云+社区发表 作者：堵俊平 在数据爆炸与智能革命的新时代，新的平台与应用层出不穷，开源项目推动了前沿技术和业界生态快速发展。本次分享将以技术和生态两大视角来看大数据和人工智能技术的发展，通过分析当下热门的开源产品和技术，来梳理未来的行业生态以及技术趋势。 我们今天的主题分为三块，第一是从开源的 ...
分类：
其他好文 时间：
2019-02-21 12:40:34
阅读次数：
164
