概述 使用 VIM 作简单字数统计 背景 想做一个简单的 字数统计 环境 OS win10 shell mintty-2.9.4 1. 需求 概述 需求 需求 统计文段内字符的数量 支持 自定义字符集 2. 方案1: vim 自带统计 概述 vim 自带方案 操作 定位到 文段内某行 vim 标准模 ...
分类：
系统相关 时间：
2020-07-07 13:14:43
阅读次数：
81
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
subprocess调用的cmd中含有中文，如下cmd="\cp-f%s%s"%(x,y)，y是前台传入的中文参数调用Popen导致如下错误：execv()arg2mustcontainonlystrings如下修改：subprocess.Popen(cmd.encode(‘utf-8‘),shell=True)
分类：
其他好文 时间：
2020-07-07 11:42:50
阅读次数：
60
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
1 shell变量基础shell变量是一种很“弱”的变量，默认情况下，一个变量保存一个串，shell不关心这个串是什么含义。所以若要进行数学运算，必须使用一些命令例如let、declare、expr、双括号等。shell变量可分为两类：局部变量和环境变量。局部变量只在创建它们的shell中可用。而环 ...
分类：
系统相关 时间：
2020-07-07 10:04:26
阅读次数：
63
1、关闭Hyper-V 打开控制面板 启用或关闭Windows功能 找到“Hyper-V”，有勾中的全部都取消掉 2、关掉 Device/Credenti “win+ R“打开运行，输入gpedit.msc 3、bcdedit /set hypervisorlaunchtype off 右键开始选项 ...
分类：
系统相关 时间：
2020-07-07 09:14:42
阅读次数：
620
Shell条件判断 1、基本语法： [ condition ](注意 condition 前后要有空格) 条件非空即为true，[]返回false 2、常用条件判断 1.整数间比较=字符串的比较 -lt小于（less than） -le小于等于(less equal) -eq等于(equal) -g ...
分类：
系统相关 时间：
2020-07-07 00:35:47
阅读次数：
94
使用 read 命令来接受输入 使用read来把输入值分配给一个或多个shell变量，read从标准输入中读取值，给每个单词分配一个变量，所有剩余单词都被分配给最后一个变量，如果变量名没有指定，默认标准输入的值赋值给系统内置变量REPLY 格式： read [options] [name ...] ...
分类：
系统相关 时间：
2020-07-06 22:43:47
阅读次数：
107
1、Spark是什么 Spark是一个高性能内存处理引擎，它提供了基于RDD的数据抽象，能够灵活处理分布式数据集 2、Spark核心概念 RDD：弹性分布式数据集，它是一个只读的、带分区的数据集合，并支持多种分布式算子。由下面5部分构成： 一组partition 每个partition的计算函数 所 ...
分类：
其他好文 时间：
2020-07-06 19:30:48
阅读次数：
57
