1 package com.bawei.core 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 /** 7 * 单词统计 8 9 */ 10 object Spa ...
分类：
数据库 时间：
2020-05-05 18:27:44
阅读次数：
87
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
1 package com.bawei.stream 2 3 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} 4 import org.apache.spark.streaming.{Seconds, ...
分类：
其他好文 时间：
2020-05-05 18:01:51
阅读次数：
55
1 package com.bawei.review01 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 case class StuScore(id:In ...
分类：
其他好文 时间：
2020-05-05 17:49:28
阅读次数：
54
Warning:<i><b>root project 'mlibmodel': Unable to build Scala project configuration</b>Details: org.gradle.api.GradleException: Cannot infer Scala cla ...
分类：
其他好文 时间：
2020-05-05 16:23:28
阅读次数：
182
1. 是不是只有java编译器才可以将java转为class 字节码文件？ 不是的，jRuby/Groovy/Scala/Jython 都是可以编译成字节码文件的。 2. 计算机是以010101的方式执行的。 3. 什么是u1,u2,u4,u8 u1: 一个字节； u2: 二个字节； u4: 4个字 ...
分类：
其他好文 时间：
2020-05-05 11:04:18
阅读次数：
55
Spark Job log 文件分析： 下面是一个Spark 数据据统计Job 的 log 文件， 从前到后的顺序分析Job的执行过程（Spark local mode）。 启动 SparkContext 提交 Job RatingHistogram 20/05/04 18:02:20 INFO S ...
分类：
其他好文 时间：
2020-05-05 09:12:49
阅读次数：
103
一、关于UI地址 master: 8080 worker: 8081 application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看) 二、历史服务器（这里说明yarn模式） 1、 配置历史服务器 1）spark-defaults.conf 默认配置 spar ...
分类：
其他好文 时间：
2020-05-05 00:33:46
阅读次数：
60
问题 为防止因为虚拟机内存过少，进程被杀死，需要关闭yarn的内存检测 yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true --> <property> <name>yarn.nodemanager.pmem-che ...
分类：
其他好文 时间：
2020-05-04 21:34:02
阅读次数：
99
一、共性 1.1、RDD 从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说，一个 RDD 就是你的数据的一个不可变的分布式元素集合，在集群中跨节点分布，可以通过若干提供了转换和处理的底层 API 进行并行处理。关于RDD的详细介绍可以参考这篇文章：https://www ...
分类：
其他好文 时间：
2020-05-04 17:33:48
阅读次数：
56
