码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
nodeJs 服务端开发常用库
功能 库名 介绍 系统监控 nodemon Nodemon是一个实用程序,可以监视源代码中的任何更改并自动重新启动服务器。非常适合开发。 系统进程 execa execa是更好的子进程管理工具(A better child_process)。本质上就是衍生一个 shell,传入的 command 字 ...
分类:Web程序   时间:2020-06-30 14:53:10    阅读次数:144
通过集合构建RDD或者DataFrame
利用字典构建dataframe。 from pyspark.sql import SparkSession,Row spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.d ...
分类:其他好文   时间:2020-06-30 14:51:17    阅读次数:59
linux 基础2
1.定义bash环境的用户配置文件是(2分) D - A. bash & .bashrc - B. bashrc & .bash_conf - C. bashrc & bash_profile - D. .bashrc & .bash_profile 2.使用下面的哪条命令可以为文件建立一个软连接( ...
分类:系统相关   时间:2020-06-30 12:38:04    阅读次数:183
我用shell写了个mud游戏:武林群侠传
零、前言 学习shell的时候,无聊的我,写了个简单版的文字mud,暂且叫武林群侠传吧。可能90后都不知道文字mud是什么了……哈哈 壹、效果 先看下效果吧,GIF图如下 文字效果如下: [root@yaomm mud]# sh mudGameV03.sh 初始生命值:【10】 2020-06-24 ...
分类:系统相关   时间:2020-06-30 10:54:18    阅读次数:51
随堂练习 shell脚本(一)
第一步:使用文本编辑器来创建文本文件 第一行:必须包括shell 声明序列:#! 示例:#!/bin/bash 第二步:加执行权限 给予执行权限,在命令行上指定脚本的绝对或相对路径 第三步:运行脚本 直接运行解释器,将脚本作为解释器程序的参数运行 范例:第一个shell 脚本 hello world ...
分类:系统相关   时间:2020-06-30 01:00:00    阅读次数:92
MapReduce模型中数据关联使用or语句导致计算效率低下
MapReduce计算模型中,如果两个数据集的关联,并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联,那么会导致大量数据分发到一个节点计算,使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型,而是计算思想模型,比如spark、flink等,甚至更广阔 ...
分类:其他好文   时间:2020-06-30 00:16:31    阅读次数:68
jmeter利用bean shell加密解密方法
加密解密方法(我用的是RSA加密解密)只需加密解密的看前5步就可以了 1.先找开发拿到代码或者直接叫开发打jar包,直接拿包的话可以跳过前2步 2.导出jar包 3.将jar包放入jmeter的lib\ext文件夹里面 4.设置线程组(要设置全局变量的话线程组选setUp Thread Group) ...
分类:系统相关   时间:2020-06-29 22:57:30    阅读次数:170
COMP9313 Lab1 SPARK pyspark 安装
遇到的问题: 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境,不然3.6 3.7会撞车 ...
分类:其他好文   时间:2020-06-29 21:28:22    阅读次数:66
scala
scala 一: scala基础 1 概念 Scala就是一门语言, 是spark的框架语言. 继承了面向对象编程和函数式编程. Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。htt ...
分类:其他好文   时间:2020-06-29 18:52:39    阅读次数:75
Linux Shell 一 之shell初识
一、什么是Shell Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。 Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。 Shell 脚本(shell script),是 ...
分类:系统相关   时间:2020-06-29 18:38:15    阅读次数:67
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!