码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
pyenv 让 python 版本完美切换
前言 我觉得如果使用 python 开发的话,还是在 unix/linux 的环境下吧,shell 工具的效率比 windows 高得多,尽管 windows 下也有 cmder 这种神器,而且现在 windows store 也很好的开发出了 linux 子系统,但是瑕疵非常多,unix/linu ...
分类:编程语言   时间:2020-09-17 22:20:30    阅读次数:39
k3 cloud部署包中的安装包变成了浏览器,不能安装
默认是关联金蝶程序打开的,直接点击运行,你这个被浏览器给改了,我也没注意打开是用的那个本地文件。 右键安装包,打开方式,找到安装目录Tools\PackageTool文件夹里面的Kingdee.Tools.PackageTool.Shell.exe和Kingdee.Tools.PackageTool ...
分类:其他好文   时间:2020-09-17 22:11:02    阅读次数:24
查看Android 设备进程id
根据包名查看adb shell pidof my.app.package ps -T -p pid ...
分类:移动开发   时间:2020-09-17 21:57:56    阅读次数:39
shell:***检测(文件改动)
通过innotifywait的工具监听文件改动写入日志#!/bin/bashMON_DIR=/optinotifywait-mqr--format%f-ecreate$MON_DIR|\whilereadfiles;doecho"$(date+‘%F%T‘)$files">>file_mon.logdone
分类:系统相关   时间:2020-09-17 21:38:16    阅读次数:124
shell:***检测(文件改动)
通过innotifywait的工具监听文件改动写入日志#!/bin/bashMON_DIR=/optinotifywait-mqr--format%f-ecreate$MON_DIR|\whilereadfiles;doecho"$(date+‘%F%T‘)$files">>file_mon.logdone
分类:系统相关   时间:2020-09-17 21:38:02    阅读次数:41
docker搭建gitlab服务
拉取镜像 docker pull gitlab/gitlab-ce 容器搭建 docker run -d -p 8000:80 -p 4430:443 -p 222:22 --name gitlab --restart always -v /home/gitlab/config:/etc/gitla ...
分类:其他好文   时间:2020-09-17 21:36:18    阅读次数:33
Python之mmap内存映射模块(大文本处理)
背景: 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令,对于处理大文件受CPU,IO等因素影响,对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理,本文将介绍通过python的mmap模块来实现对大文件的处理,来对比看他们的差异。 说明: mmap是一种虚拟内存 ...
分类:编程语言   时间:2020-09-17 21:25:55    阅读次数:40
下载KITTI数据集raw data的Python脚本
KITTI数据集是自动驾驶领域的经典数据集之一,raw data大小有上百G,官方在raw data界面提供了一个shell脚本raw dataset download script来帮助下载,该shell脚本会自动下载所有raw data并解压到指定文件夹。 由于raw data过大,断断续续下了 ...
分类:编程语言   时间:2020-09-17 20:48:36    阅读次数:75
【Linux】文件操作命令、管道命令、文件编辑命令(VI)
##Shell-文件操作命令、管道命令、文件编辑命令(VI) ###(1)查看当前目录下所有文件信息 格式:ls [-al] 参数:a 显示隐藏文件 l 显示文件的详细信息 (命令参数可以组合使用) ###(2)切换目录 格式:cd 要切换到的目录 cd .. 切换到上一级目录 cd ~ 当前用户所 ...
分类:系统相关   时间:2020-09-17 19:50:04    阅读次数:51
Spark的Shuffle和MR的Shuffle异同
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:其他好文   时间:2020-09-17 19:31:45    阅读次数:30
34921条   上一页 1 ... 64 65 66 67 68 ... 3493 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!