1.准备文本文件，从文件创建RDD lines=sc.textFile()，筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式 2.生成单词的列表，从列表创建RDD words=sc.parallelize()，筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-29 12:44:51
阅读次数：
0
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。 1、Spark的核心是什么? RDD是Spark的基本抽象,是 ...
分类：
其他好文 时间：
2020-02-20 17:10:10
阅读次数：
121
使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件： 简单的RDD操作： //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行， ...
分类：
其他好文 时间：
2020-02-02 13:35:21
阅读次数：
101
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2019-12-11 09:16:33
阅读次数：
82
导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。 本文依次从spark生态，原理，基 ...
分类：
其他好文 时间：
2019-05-29 14:46:22
阅读次数：
118
AS WE ALL KNOW，学机器学习的一般都是从python+sklearn开始学，适用于数据量不大的场景（这里就别计较“不大”具体指标是啥了，哈哈） 数据量大了，就需要用到其他技术了，如：spark, tensorflow，当然也有其他技术，此处略过一坨字... 先来看看如何让这3个集成起来吧 ...
分类：
其他好文 时间：
2019-02-02 10:28:27
阅读次数：
251
Spark2.X傻瓜视频教程_Spark2视频教程下载课程分享链接:https://pan.baidu.com/s/1t2x6zEpR1PABC_y0TyXLBw密码:ltyt本课程照顾到零基础学员，从最基础的Linux入手，到Hadoop技术，再到Spark官方指定语言Scala，再到最后的SparkSQL，SparkStream技术，一站式全链路教学，Spark技术一课搞定，电商项目全程贯穿，
分类：
其他好文 时间：
2018-12-17 14:17:01
阅读次数：
265
? spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也 ...
分类：
其他好文 时间：
2018-11-22 13:12:50
阅读次数：
166
一起来了解 spark 中的精华部分—— spark sql 吧！
分类：
其他好文 时间：
2018-11-21 21:13:53
阅读次数：
194
一起来了解 spark 中的精华部分—— spark sql 吧！
分类：
其他好文 时间：
2018-11-21 21:04:37
阅读次数：
111
