本文参考 出自LeetCode上的题库 —— 字符串转整数，本篇文章也主要是参考LeetCode上的官方题解 官方题解采用了编译原理中有限自动机的概念，没想到编译原理中的知识可以应用到算法中，所以在这篇文章里记录下scala版本的解法，但是不对具体题解作介绍，想看具体解释还请移步力扣官网 https ...
分类：
编程语言 时间：
2020-04-07 22:44:50
阅读次数：
96
1.kafka是什么？ Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一 ...
分类：
其他好文 时间：
2020-04-07 22:14:54
阅读次数：
93
1.血统机制 RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 RDD与RDD ...
分类：
其他好文 时间：
2020-04-06 17:52:36
阅读次数：
154
使用netty的开源框架 Dubbo：阿里开源的高性能rpc通讯框架 RocketMQ：阿里出品的高性能消息队列 Spark：为大规模数据处理设计的一款计算引擎 Elasticsearch,Cassandra,Flink,Netty-SocketIO,Spring5,Play,Grpc... Net ...
分类：
Web程序 时间：
2020-04-06 00:28:27
阅读次数：
121
大数据安全系列的其它文章 https://www.cnblogs.com/bainianminguo/p/12548076.html 安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html hadoop的kerberos认证 ...
分类：
其他好文 时间：
2020-04-06 00:21:08
阅读次数：
411
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark系列的第一篇文章。 最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了点时间加更了一篇，和大家分享一下最近在学习的spark相关的内容。看在我这么拼的 ...
分类：
其他好文 时间：
2020-04-05 13:48:29
阅读次数：
100
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL？如果大家了解Hive的话，应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRedu ...
分类：
数据库 时间：
2020-04-05 13:33:32
阅读次数：
113
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
./dev/make-distribution.sh —tgz —name h32hive -Pyarn -Phadoop-3.2.1 -Dhadoop.version=3.2.1 -Phive -Phive-thriftserver -DskipTests +++ dirname ./dev/ma ...
分类：
其他好文 时间：
2020-04-04 21:00:49
阅读次数：
101
