import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类：
其他好文 时间：
2021-07-02 16:33:14
阅读次数：
0
strSql = "select DISTINCT GROUPNAME from [172.30.1.133].[Cimes5PRDDB_CN].dbo.AOI_GROUPNAME_SET" ...
分类：
数据库 时间：
2021-06-24 18:32:25
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
function addLink() { let body_element = document.body; let selection = window.getSelection(); let locationHref = document.location.href; let appendLin ...
分类：
Web程序 时间：
2021-06-13 10:12:51
阅读次数：
0
1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-06-07 20:04:10
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-06-06 19:08:07
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom的成绩按分数大小排序。 平均分： 求每门课的选修人数及平均分，精确到2位小数。每门课的不及格人数，通过率 ...
分类：
数据库 时间：
2021-05-25 17:47:46
阅读次数：
0
用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.每门课程大于95分的学生人数？ 7.Tom选修了几门课？每门课多少分？ 8. ...
分类：
数据库 时间：
2021-05-25 17:40:47
阅读次数：
0
