一.Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源。文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片,即Split(分片,逻辑划分,不包含具体数据,只包含这些数据的位置信息),那么上图中 ...
分类:
其他好文 时间:
2020-07-06 14:25:24
阅读次数:
60
1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合,lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一 ...
分类:
其他好文 时间:
2020-07-05 21:00:05
阅读次数:
80
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数,并将用户都显示出来。 ~]# grep -v "/sbin/nologin" /etc/passwd | cut -d: -f1 root sync shutdown halt mageia slackw ...
分类:
系统相关 时间:
2020-07-05 17:28:20
阅读次数:
83
vue-resize-split-pane 插件做窗口分隔,之前没有用过,简单使用一下: npm地址:https://developer.aliyun.com/mirror/npm/package/vue-resize-split-pane 安装插件: cnpm install vue-resize ...
分类:
其他好文 时间:
2020-07-05 15:24:47
阅读次数:
229
这个题拿python做太快了,五行就解决了 利用python不限数据范围的特性 Python 1 num = input() 2 ab = num.split() 3 Q = eval(ab[0]) // eval(ab[1]) 4 R = eval(ab[0]) % eval(ab[1]) 5 p ...
分类:
其他好文 时间:
2020-07-04 22:54:30
阅读次数:
80
1、字符串操作 有时最简单(表明上的)的事情最困难,或者至少会引起巨大的讨论。其中大部分的争议是关于命名(还能是什么?),但是给标准字符串对象添加函数,来删除前缀和后缀,这种想法是毫无争议的。 是否可以将那些词缀(前缀和后缀的统称)指定为序列,以便在一次调用中处理多个词缀,这一点尚不明确,最后它被从 ...
分类:
编程语言 时间:
2020-07-04 13:46:10
阅读次数:
115
切片机制源码: ①for (FileStatus file: files) 每个文件单独切片。 ②long length = file.getLen() 获取文件大小。 ③while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) SPLIT_S ...
分类:
其他好文 时间:
2020-07-04 11:49:16
阅读次数:
106
实现的效果 需要在web中实现多语言的切换,当用户语言切换完成后下次重新打开网页,也是上次设置的语言进行显示。 资源网站搜索大全https://55wd.com 实现步骤 1、在用户点击切换语言后,把选择的语言版本保存在cookie中 //写入cookie函数 function setCookie( ...
分类:
编程语言 时间:
2020-07-04 01:21:17
阅读次数:
207
校验比较简单,只要在0-255之间就算合法 private static boolean ipValid(String ip) { String[] split = ip.split("\\."); int len = split.length; if(len != 4){ return false ...
分类:
其他好文 时间:
2020-07-03 23:10:41
阅读次数:
61
import pymysql import requests import json import smtplib import email.mime.multipart import email.mime.text from email.mime.application import MIMEAp ...
分类:
其他好文 时间:
2020-07-03 12:36:57
阅读次数:
74