码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
Linux Shell 二之 Shell变量
Shell 变量 定义变量时,变量名不加美元符号($,PHP语言中变量需要),如: your_name="runoob.com" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则: 命名只能使用英文字母,数字和下划线,首个字符不能以数字开头。 ...
分类:系统相关   时间:2020-06-29 18:36:31    阅读次数:66
文件管理工具和基础脚本实例
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来 2、查出用户UID最大值的用户名、UID及shell类型 3、统计当前连接本机的每个远程主机IP的连接数,并按照从大到小排序 4、编写脚本createuser.sh, 实现如下功能: ...
分类:其他好文   时间:2020-06-29 18:36:14    阅读次数:60
spark读取文件时对字符编码的支持
在spark中常使用textFile读取文件,默认的是UTF-8编码,但在实际读取文件时,存在不同的文件编码,如果不是UTF-8编码的文件,便不能直接使用这个方法读文件。 以下是2种读取不同编码文件的方法,下面以ANSI的中文简体编码为例,codepage是1252. 方法1:使用decode方法 ...
分类:其他好文   时间:2020-06-29 17:21:19    阅读次数:202
jmeter-beanshell本地文件写入多列数据--for循环
1. 首先用一个请求,获取list数据;并且提取出来 这里获取出来的是48个Name,id,color 2. 使用beanshell取样器,循环次数 == ${goodsName_matchNr};可以从debug sample中查看 FileWriter fstream = new FileWri ...
分类:系统相关   时间:2020-06-29 16:54:30    阅读次数:223
hacker之眼Nmap的原理及用法(一)何为主机发现?
一百个人心目中有一百个hacker的形象,但肯定没有一个形象是盲眼hacker,至少我心目中的hacker不会是一个两眼一抹黑的“hacker”,这与我在电影中看到的那些飞速敲击键盘、兼顾若干显示器、眼珠里的反光都是网络扫描画面的hacker完全不一样。那么拥有生物学意义上的眼睛就能“看到”网络世界的运行规律吗?答案显然不是。我心目中的hacker应该是一个“人机合一”的家伙,能够借助手中的魔杖,洞悉网络世界。听起来这个魔杖威力强大,而且还不只一种可用,我们先来看看hacker们最爱使用的扫描工具Nmap,这可是曾经被用作《hacker帝国》拍摄背景的工具。
分类:其他好文   时间:2020-06-29 15:30:27    阅读次数:89
spark-submit提交任务到yarn错误
1.Error initializing SparkContext. 20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/applicat ...
分类:其他好文   时间:2020-06-29 15:02:48    阅读次数:96
Linux shell 判断字符串为空等常用命令
https://www.cnblogs.com/cute/archive/2011/08/26/2154137.html 1、判断字符串为空 if [ -z "$str" ]; then echo "empty string" fi 2、判断文件是否存在 if [ -f /home/builder/ ...
分类:系统相关   时间:2020-06-29 13:44:40    阅读次数:107
阿里云 HBaseServerless版 数据库的初步使用
一、准备工具 1、数据库 HBaseServerless版 2、ECS 阿里云 Centos 8.1 二、下载命令工具。 1、点击一键生成配置可以获取配置信息,保存到本地。 2、点击 “HBase Serverless Shell 下载” 可以下载shell命令。 3、将 本地配置信息替换 alih ...
分类:数据库   时间:2020-06-29 11:15:42    阅读次数:107
01 . Shell详细入门介绍及简单应用
Shell简介 Shell 是一个 C 语言编写的脚本语言,它是用户与 Linux 的桥梁,用户输入命令交给 Shell 解释处理Shell 将相应的操作传递给内核(Kernel),内核把处理的结果输出显示到屏幕给用户. Shell分为两类 图形界面 Shell(GUI Shell) GUI为 Un ...
分类:系统相关   时间:2020-06-29 09:52:07    阅读次数:67
spark之通过sparksql中的SQL语句实现电影点评系统用户行为分析
用户文件users.dat的格式描述如下: 1. userid::gender::age::occupation::zip-code 2. 用户id、性别、年龄、职业、邮政编码 评级文件ratings.dat的格式描述如下: 1. userid::movieid::rating::timestamp ...
分类:数据库   时间:2020-06-29 00:44:59    阅读次数:129
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!