功能 库名 介绍 系统监控 nodemon Nodemon是一个实用程序,可以监视源代码中的任何更改并自动重新启动服务器。非常适合开发。 系统进程 execa execa是更好的子进程管理工具(A better child_process)。本质上就是衍生一个 shell,传入的 command 字 ...
分类:
Web程序 时间:
2020-06-30 14:53:10
阅读次数:
144
利用字典构建dataframe。 from pyspark.sql import SparkSession,Row spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.d ...
分类:
其他好文 时间:
2020-06-30 14:51:17
阅读次数:
59
1.定义bash环境的用户配置文件是(2分) D - A. bash & .bashrc - B. bashrc & .bash_conf - C. bashrc & bash_profile - D. .bashrc & .bash_profile 2.使用下面的哪条命令可以为文件建立一个软连接( ...
分类:
系统相关 时间:
2020-06-30 12:38:04
阅读次数:
183
零、前言 学习shell的时候,无聊的我,写了个简单版的文字mud,暂且叫武林群侠传吧。可能90后都不知道文字mud是什么了……哈哈 壹、效果 先看下效果吧,GIF图如下 文字效果如下: [root@yaomm mud]# sh mudGameV03.sh 初始生命值:【10】 2020-06-24 ...
分类:
系统相关 时间:
2020-06-30 10:54:18
阅读次数:
51
第一步:使用文本编辑器来创建文本文件 第一行:必须包括shell 声明序列:#! 示例:#!/bin/bash 第二步:加执行权限 给予执行权限,在命令行上指定脚本的绝对或相对路径 第三步:运行脚本 直接运行解释器,将脚本作为解释器程序的参数运行 范例:第一个shell 脚本 hello world ...
分类:
系统相关 时间:
2020-06-30 01:00:00
阅读次数:
92
MapReduce计算模型中,如果两个数据集的关联,并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联,那么会导致大量数据分发到一个节点计算,使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型,而是计算思想模型,比如spark、flink等,甚至更广阔 ...
分类:
其他好文 时间:
2020-06-30 00:16:31
阅读次数:
68
加密解密方法(我用的是RSA加密解密)只需加密解密的看前5步就可以了 1.先找开发拿到代码或者直接叫开发打jar包,直接拿包的话可以跳过前2步 2.导出jar包 3.将jar包放入jmeter的lib\ext文件夹里面 4.设置线程组(要设置全局变量的话线程组选setUp Thread Group) ...
分类:
系统相关 时间:
2020-06-29 22:57:30
阅读次数:
170
遇到的问题: 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境,不然3.6 3.7会撞车 ...
分类:
其他好文 时间:
2020-06-29 21:28:22
阅读次数:
66
scala 一: scala基础 1 概念 Scala就是一门语言, 是spark的框架语言. 继承了面向对象编程和函数式编程. Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。htt ...
分类:
其他好文 时间:
2020-06-29 18:52:39
阅读次数:
75
一、什么是Shell Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。 Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。 Shell 脚本(shell script),是 ...
分类:
系统相关 时间:
2020-06-29 18:38:15
阅读次数:
67