RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
登录脚本的执行顺序：【注：仅适用于 bash shell】 Login-Shell 是指登录时，需要提供用户名密码的shell，如：su – user1 , 图形登录， ctrl+alt+F2-6进入的登录界面。 这种Login shell 执行脚本的顺序： 1./etc/profile 【全局pr ...
分类：
系统相关 时间：
2020-07-06 15:56:25
阅读次数：
120
dbbac.sh #!/bin/bash # db_user="teacher" db_password="123456" ftp_user="teacher" ftp_password="123456" ftp_host="192.168.199.230" dest_dir="/root/mysq ...
分类：
数据库 时间：
2020-07-06 13:03:48
阅读次数：
62
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )" ...
分类：
系统相关 时间：
2020-07-06 12:57:01
阅读次数：
69
phpinfo() 功能描述：输出 PHP 环境信息以及相关的模块、WEB 环境等信息。 危险等级：中 passthru() 功能描述：允许执行一个外部程序并回显输出，类似于 exec()。 危险等级：高 exec() 功能描述：允许执行一个外部程序（如 UNIX Shell 或 CMD 命令等）。 ...
分类：
Web程序 时间：
2020-07-06 11:21:28
阅读次数：
73
shelljs https://github.com/shelljs/shelljs 实例 var shell = require('shelljs'); if (!shell.which('git')) { shell.echo('Sorry, this script requires git') ...
分类：
Web程序 时间：
2020-07-06 11:12:54
阅读次数：
98
脚本源码:#!/bin/bashecho_caidan() {# 清空防火墙规则read -ep "是否清空防火墙规则(y/n):" nameif [ $name == y ];then iptables -F echo " 1) 放行端口 2) 封锁端口 3) 放行ip 4) 封锁ip "else... ...
分类：
系统相关 时间：
2020-07-06 11:04:21
阅读次数：
99
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来[root@centos7~]#grep-v"/sbin/nologin"/etc/passwd|cut-d:-f1rootsyncshutdownhaltzjwmageiaslackware2、查出用户UID最大值的用户名、UID及shell类型[root@centos7~]#get
分类：
其他好文 时间：
2020-07-06 01:02:16
阅读次数：
69
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来[root@centos7scripts]#grep-v‘/sbin/nologin$‘/etc/passwd|cut-d:-f1rootsyncshutdownhaltkyletest[root@centos7~]#awk-F:‘{if($NF!="/sbin/nologin"){p
分类：
其他好文 时间：
2020-07-06 00:42:07
阅读次数：
89
