使用idea开发flink报错,就是普通的读取文本内容,进行单词计数。scala版本是2.11.12,flink是1.8.1报错信息如下:Exceptioninthread“main”java.lang.NoSuchMethodError:akka.actor.ActorSystemImpl.(Ljava/lang/String;Lcom/typesafe/config/Config;Ljava/
分类:
其他好文 时间:
2020-03-20 11:07:36
阅读次数:
189
1. scala 编程虽然类似于 python ,但也严格遵守Java的相关准则 .如导入类 , 依赖等 .并且可通用类库 . 其最好用的一点事对数据的类型转换更方便 结果是3600 , 转无数次也一样 ,虽然没必要 .但是在数据编程方面 , 会更方便. 这也是为什么Spark是用scala 开发. ...
分类:
其他好文 时间:
2020-03-20 09:13:28
阅读次数:
60
根本原因:double click 双击 移动端默认双击情况下会有方法效果,当你点击一次之后,移动端无法判断你是否下一次还会继续完成双击,因此存在300 ms 延迟 有一部分浏览器,比如chrome浏览器,当你在meta头设置width=device-width时,它会自动禁止300 ms的延迟 推 ...
分类:
移动开发 时间:
2020-03-17 14:18:49
阅读次数:
98
最近想用Scala来重构Java项目。Scala的灵活高效这里就不用说了,Java MVC一套架构确实有它优点。但是开发调试效率确实慢很多。所以准备使用DDD中的命令查询职责分离模式(Command Query Responsibility Segregation,CQRS)重构项目。 首先我们先介 ...
分类:
其他好文 时间:
2020-03-16 16:28:01
阅读次数:
101
scala 下载网站 https://www.scala-lang.org/download/ 安装scala要先安装java,并且配置java环境,官网也有说明 不过国内的网站下载不下来可以访问: http://downloads.typesafe.com/scala/2.13.0/scala-2 ...
分类:
其他好文 时间:
2020-03-15 19:16:15
阅读次数:
74
[toc] 使用 或`concat_ws() `SQL函数,可以将一个或多个列连接到Spark DataFrame上的单个列中。在文本中,将学习如何使用这些函数,还可以使用原始SQL通过Scala示例来连接列。 Preparing Data & DataFrame 注意,我们需要导入spark对象上 ...
分类:
其他好文 时间:
2020-03-14 23:54:22
阅读次数:
61
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类:
其他好文 时间:
2020-03-14 19:56:39
阅读次数:
121
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 (注scala 2.11.8运行不了) ...
分类:
其他好文 时间:
2020-03-10 21:53:58
阅读次数:
76
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能,由于数据量和环境的因素,开发人员采用了kafka做为消息中间件来转发数据,笔者就进行了kafka的学习,记录了下面的文档,望大家多多指教,共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类:
其他好文 时间:
2020-03-09 20:58:51
阅读次数:
88
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统,使用Scala与Java语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中间件(例如ActiveMQ、RabbitMQ),Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性,非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类:
其他好文 时间:
2020-03-09 13:12:17
阅读次数:
58