//spark读取数据 Dataset<Row> df = spark.read().textFile(currentSrcPath, 1); Dataset<Row> df = spark.read().json(path); Dataset<Row> df = spark.read().orc( ...
分类：
其他好文 时间：
2020-05-08 18:23:41
阅读次数：
85
Spark小实例——求文件中的最大值和最小值（IDEA实现）
分类：
其他好文 时间：
2020-04-27 22:38:23
阅读次数：
162
//清理格式不匹配的数据 //此代码可以实现自动滤除掉无法转化为double类型的数据 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.j ...
分类：
其他好文 时间：
2020-04-26 21:00:10
阅读次数：
120
一、hive中表分为两种 1、内部表(管理表): 删除表的时候删除hdfs上的数据。 2、外部表 删除表的时候不删除hdfs上的数据。 外部表不能使用insert的方式插入数据，所有的数据来源，都是外部别人提供的，所以hive认为自己没有独占这份数据，所以删除hive表的时候，不会删 除表里面的数据 ...
分类：
其他好文 时间：
2020-03-31 19:14:39
阅读次数：
79
我们已经在CentOS7中安装了spark，本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类：
其他好文 时间：
2020-03-30 00:07:08
阅读次数：
103
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法（在hive或者spark-sql命令行均可）： 查询建表信息： show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如，Input ...
分类：
其他好文 时间：
2020-03-14 20:06:06
阅读次数：
166
建表 1 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) 2 [(col_name dat ...
分类：
其他好文 时间：
2020-02-26 18:43:12
阅读次数：
80
package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l ...
分类：
其他好文 时间：
2020-02-18 18:56:10
阅读次数：
75
import org.apache.spark.{SparkConf, SparkContext} import scala.util.parsing.json.JSON object JSONParse { def main(args: Array[String]): Unit = { val i ...
分类：
Web程序 时间：
2020-02-17 00:45:38
阅读次数：
120
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
