import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类:
其他好文 时间:
2021-07-02 16:33:14
阅读次数:
0
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析 如果有一个工具,可以让你在同一个Web页面上写Shell代码,Python代码,Scala代码,你想要么? 如果还可以执行PySpark代码和Spark代码呢?心动了吗? 如果还可以写Hive-SQL,Spark- ...
分类:
编程语言 时间:
2021-07-02 15:35:46
阅读次数:
0
package cn.irisz.steam import org.apache.flink.api.common.RuntimeExecutionMode import org.apache.flink.streaming.api.scala._ import org.apache.flink.t ...
分类:
其他好文 时间:
2021-06-29 15:38:43
阅读次数:
0
01 背景 面对大量用户访问、高并发请求,单机网站可以从软硬件两个方面寻求解决方法: 1、硬件方面:可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器; 2、软件方面:采用高效率的编程语言(比如Go,Erlang,Scala)等。 但是,当单机容量达到极限时,我们需要考虑业务拆分和分布 ...
分类:
编程语言 时间:
2021-06-28 20:23:37
阅读次数:
0
Scala-Hello World 目标,在本地启动一个项目,能够输出helloworld https://www.scala-lang.org/ 官网提供的下载安装方式有很多种。 推荐IDE: IDEA 和 VSCode 这里我安装了IDEA,就用了它。 创建scala文件的时候,提示安装Scal ...
分类:
其他好文 时间:
2021-06-25 17:00:41
阅读次数:
0
Scala 操作MySQL 本地之前安装过MySQL 启动: mysql.server start 停止: mysql.setver stop 登录: mysql -u root ; 登录root用户。 选择一个database : use erwa 查看所有的database: show data ...
分类:
数据库 时间:
2021-06-25 17:00:08
阅读次数:
0
1.当extends app 时,可以引入变量,而使用main函数不能引入 extends app main 函数 2. extends app 会延迟加载,使用main函数更加稳定 等区别网络自行搜索 其他不同待补充 ...
分类:
移动开发 时间:
2021-06-24 18:03:37
阅读次数:
0
1 kafka概述 什么是Kafka 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn公司开发,并于 ...
分类:
其他好文 时间:
2021-06-20 17:36:06
阅读次数:
0
准备:1. 规划3个集群节点:hosts主机都已经配置好映射,映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置,确保端口互通,防火墙关闭 2. 先安装好scala(参考:https://www.cnblogs.com/sea520/p/13518158.html) ...
分类:
其他好文 时间:
2021-06-19 19:11:31
阅读次数:
0
spark程序初始化HiveContext报错:空指针异常 版本说明: spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类:
其他好文 时间:
2021-06-17 16:37:17
阅读次数:
0