一.什么是机器学习？ 什么是机器学习？Herbert Sinmon给“学习”做出了这样的定义：“如果一个系统能够通过执行某个过程而改进性能，这就是学习。”更通俗的理解是：机器学习能够自动地从数据中学习“程序”，而这个程序不是人来编写的。 平面上有两类点，黄色代表类别a，蓝色代表类别b。这时我们希望能 ...
分类：
其他好文 时间：
2020-07-26 15:43:33
阅读次数：
56
webworker计算md5实践及遇到的坑最近项目要实现大文件的分块上传及断点续传，其中文件的md5是判断文件或文件块是否已被上传的重要依据。1.阶段一编码初期，直接在公共方法中写了一个传入file返回md5的函数，供文件上传模块使用。关键代码如下：/***获取文件的md5*@param{*}file文件对象*/importSparkMD5from‘spark-md5‘exportasyncfun
分类：
Web程序 时间：
2020-07-24 23:48:21
阅读次数：
117
问题背景： 使用spark datasource v2 接口，外接存储源时，发现更改项目版本后，spark-shell报错 搜索该错误无果，网上报什么window util错，并不是我遇到的问题. error: not found: value spark Exception in thread " ...
分类：
编程语言 时间：
2020-07-24 15:52:06
阅读次数：
115
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类：
编程语言 时间：
2020-07-21 21:58:23
阅读次数：
74
Spark基础入门 1、spark的核心概念 2、spark的四大特性 3、spark的整体架构 4、spark的集群安装部署 5、spark的集群的启动和停止 6、spark的集群web管理界面 7、spark-shell Driver 它会执行客户端写好的main方法，它会构建一个名叫Spark ...
分类：
其他好文 时间：
2020-07-21 09:31:03
阅读次数：
90
一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类：
其他好文 时间：
2020-07-19 11:44:16
阅读次数：
62
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类：
数据库 时间：
2020-07-19 00:39:19
阅读次数：
98
● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
