一、大数据spark 跟进scala的知识点学习。 视频号： av64039811 二、《一线架构师实践指南》阅读 阅读了第十六章 故事：困扰已久的非功能问题 ...
分类：
其他好文 时间：
2020-02-14 22:27:43
阅读次数：
86
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
理论部分： softmax的基本概念 分类问题一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为x1,x2,x3,x4。假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3。我们通常使用离散的数值来表示类别，例如y1=1,y2=2,y3=3。 权重矢 ...
分类：
其他好文 时间：
2020-02-14 20:30:48
阅读次数：
62
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程 1、安装maven ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出a ...
分类：
编程语言 时间：
2020-02-14 10:43:07
阅读次数：
103
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 1、安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内 ...
分类：
其他好文 时间：
2020-02-13 22:31:48
阅读次数：
103
安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 ...
分类：
其他好文 时间：
2020-02-13 19:32:48
阅读次数：
73
一、option类型 定义：通过该类型可以有效的避免空指针异常 1 def func(a: Double, b: Double): Option[Double] = { 2 if (b != 0) { 3 //没错的情况下 返回值用Some函数包起来 4 Some(a / b) 5 } else { ...
分类：
其他好文 时间：
2020-02-13 19:06:21
阅读次数：
59
1、先下载Git官方版本，并下载对应的中文语言包。 官网下载太慢了，一天估计也下载不了，直接在专门的下载软件的网站下载即可。然后默认安装，安装后自动就设置好环境变量了，非常简单。 2、本来计划使用GitHub，但是下载操作太慢，我觉得不适合我这样的新手。发现码云挺好用的，就用他了，而且帮忙文档非常全 ...
分类：
其他好文 时间：
2020-02-13 00:22:25
阅读次数：
58
一、大数据spark 跟着b站的尚硅谷大数据往后学习了8个知识点。 同时把scala的知识点学习了一下。 视频号： av62992342 av64039811 内容：Spark内核 课程学习进度：87/126 二、《一线架构师实践指南》阅读 阅读了第十四章 物理架构、运行架构、开发架构 ...
分类：
其他好文 时间：
2020-02-12 22:28:24
阅读次数：
64
把昨天剩余的Scala基础编程做了，也按要求做了下一个实验的内容 3. 统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要 ...
分类：
其他好文 时间：
2020-02-12 22:11:42
阅读次数：
162
