把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
官网 http://spark.apache.org/docs/2.3.1/rdd-programming-guide.html#accumulators http://spark.apache.org/docs/2.3.1/api/scala/index.html#org.apache.spark ...
分类：
其他好文 时间：
2020-03-08 17:55:40
阅读次数：
96
from：https://blog.csdn.net/zhanglh046/article/details/78505038 一 Spark SQL运行架构Spark SQL对SQL语句的处理和关系型数据库类似，即词法/语法解析、绑定、优化、执行。Spark SQL会先将SQL语句解析成一棵树，然后 ...
分类：
数据库 时间：
2020-03-08 16:00:50
阅读次数：
107
Spark官方自带了WordCount的样例，我们也可以自己实现，加深对Spark的理解。 import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit ...
分类：
其他好文 时间：
2020-03-08 13:44:44
阅读次数：
65
CE3]disbridge-domainThetotalnumberofbridge-domainsis:1MAC_LRN:MAClearning;STAT:Statistics;SPLIT:Split-horizon;BC:Broadcast;MC:Unknownmulticast;UC:Unknownunicast;*down:Administrativelydown;FWD:Forward;
分类：
其他好文 时间：
2020-03-07 11:24:46
阅读次数：
110
https://docs.delta.io/latest/quick-start.html Boston Spark Meetup @ Wayfair / Delta Lake: Open Source Reliability and Quality for Data Lakes ...
分类：
其他好文 时间：
2020-03-06 10:52:06
阅读次数：
57
单线程IP地址解析 目标程序 1. 界面如下图 ? 2. 设计方法：完成单个IP地址解析，循环调用方法，完成扫描。 3. 注意用stopwatch计算时间。 实现思路 1. 先知道怎么解析一个单个的IP地址。 2. 用循环的方法解析多个IP地址。 3. 设计程序的界面 4. 设计事件 实现过程 在控 ...
分类：
编程语言 时间：
2020-03-05 20:40:14
阅读次数：
79
1、概述 随机森林是决策树的集合。随机森林是用于分类和回归的最成功的机器学习模型之一。他们结合了许多决策树，以减少过度拟合的风险。像决策树一样，随机森林处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。 spark.mllib支持使用连续和分类功能对二元和多类分类以及进 ...
分类：
其他好文 时间：
2020-03-04 12:28:12
阅读次数：
105
本文主要对 Spark ML库下模型评估指标的讲解，以下代码均以 进行讲解，Spark版本为 。模型评估指标位于包 下。 模型评估指标是指测试集的评估指标，而不是训练集的评估指标 1、回归评估指标 RegressionEvaluator Evaluator for regression, which ...
分类：
其他好文 时间：
2020-03-03 22:38:09
阅读次数：
144
1、概述 决策树及树集（算法）是用于机器学习任务的分类和回归的流行方法。决策树被广泛使用，因为它们易于解释，处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。树集分类算法（例如随机森林和boosting）在分类和回归任务中表现最佳。 spark.ml实现使用连续和分类特 ...
分类：
其他好文 时间：
2020-03-03 17:46:25
阅读次数：
96
