码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
hexo-theme-next主题配置
由于个人感觉,找图片困难(有选择困难症......),虽然使用了图床,但是原本使用的Butterfly主题需要配置图片让我有点难受(是我太菜了)。现在切换为最新的NexT主题,记录当前主题配置。 ...
分类:其他好文   时间:2021-01-26 12:40:13    阅读次数:0
利用 Linux col 命令过滤手册文档中的控制符
Linux col命令用于过滤控制字符。 在许多UNIX说明文件里,都有RLF控制字符。当我们运用shell特殊字符">"和">>",把说明文件的内容输出成纯文本文件时,控制字符会变成乱码,col指令则能有效滤除这些控制字符。 语法 col [-bfx][-l<缓冲区列数>] 参数: -b 过滤掉所 ...
分类:系统相关   时间:2021-01-26 12:35:26    阅读次数:0
# Dockerfile命令详解
Dockerfile介绍 Dockerfile类似于shell的脚本,由一条条指令组成,Docker进程可以通过读取Dockerfile中的指令,依据指令内容自动构建生成镜像。 dockerfile 官方文档 Dockerfile常用指令 FROM LABEL RUN EXPOSE COPY ADD ...
分类:其他好文   时间:2021-01-25 11:36:58    阅读次数:0
Spark实战(三)本地连接远程Spark(Python环境)
一、Python环境准备 远程服务器上Python版本要与本地想匹配,这里本地使用Anaconda来进行安装,远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz ...
分类:编程语言   时间:2021-01-25 11:30:39    阅读次数:0
Spark面试常见问题(一)--RDD基础
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition(某个节点里的某一片连续的数据)组成的的List;将数据加载为RDD时,一般一个hdfs里的block会加载为一个partition。 对于RDD来说,每 ...
分类:其他好文   时间:2021-01-25 11:30:09    阅读次数:0
Docker执行php脚本,可写shell定时任务
docker exec -it php php /www/my_project/think version >> my.log docker exec -it php 执行容器 php /www/my_project/think version 执行php指令 并将执行结果写入日志 ...
分类:Web程序   时间:2021-01-25 10:34:25    阅读次数:0
source命令详解
1.souce:在当前bash环境下读取并执行FileName中的命令。 可以在shell启动前加载环境变量 weidiandeMacBook-Pro:myshworkspace weidian$ pwd /Users/weidian/myshworkspace weidiandeMacBook-P ...
分类:其他好文   时间:2021-01-22 12:29:08    阅读次数:0
三、zookeeper常用shell命令
一、新增节点 语法 #其中-s 为有序节点,-e 临时节点 create [-s] [-e] path data 创建持久化节点并写入数据: # 创建hadoop节点并写入数据123456: create /hadoop "123456" 创建持久化有序节点,此时创建的节点名为指定节点名 + 自增序 ...
分类:系统相关   时间:2021-01-22 12:13:51    阅读次数:0
Trino总结
文章目录 1.Trino与Spark SQL的区别分析 2.Trino与Spark SQL解析过程对比 3.Trino基本概念 4.Trino架构 5.Trino SQL执行流程 6.Trino Task执行流程 相关参考: 1.Trino与Spark SQL的区别分析 2.Trino与Spark ...
分类:其他好文   时间:2021-01-22 12:05:01    阅读次数:0
Hive整合Hbase
HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要说Hive,Hive方便地提供了Hiv ...
分类:其他好文   时间:2021-01-21 10:54:30    阅读次数:0
34921条   上一页 1 ... 35 36 37 38 39 ... 3493 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!