码迷,mamicode.com
首页 >  
搜索关键字:spark shell    ( 34921个结果
django--基础1
manage.py Django项目里面的工具,通过它可以调用django shell和数据库,启动关闭项目与项目交互等,不管你将框架分了几个文件,必然有一个启动文件,其实他们本身就是一个文件。 settings.py 包含了项目的默认设置,包括数据库信息,调试标志以及其他一些工作的变量。 urls ...
分类:其他好文   时间:2020-07-28 10:15:56    阅读次数:63
Shell编程进阶篇(完结)
1.1 for循环语句 在计算机科学中,for循环(英语:for loop)是一种编程语言的迭代陈述,能够让程式码反复的执行。 它跟其他的循环,如while循环,最大的不同,是它拥有一个循环计数器,或是循环变数。这使得for循环能够知道在迭代过程中的执行顺序。 1.1.1 shell中的for循环 ...
分类:系统相关   时间:2020-07-28 00:25:46    阅读次数:190
adb 常用命令
adb 常用命令 adb 查看帮助文档 adb --help 启动adb服务 adb start-server 关闭adb服务 adb kill-server 获取设备号 adb devices 获取系统版本 adb shell getprop ro.build.version.release 查看 ...
分类:数据库   时间:2020-07-28 00:03:59    阅读次数:97
BlockManager源码详解
一、简介 在每个节点(driver和executor)上运行的管理器,该接口提供用于在本地和远程将block放置和检索到各种存储(内存,磁盘和堆外)的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类:其他好文   时间:2020-07-27 23:41:12    阅读次数:73
Windows 通过右键菜单打开 CMD
注册表脚本如下 Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\Directory\Background\shell\CMD Here] "ShowBasedOnVelocityId"=dword:00639bc8 "Icon"="cm ...
分类:Windows程序   时间:2020-07-27 17:49:24    阅读次数:88
CentOS 7.X 系统安装及优化
1.centos的演变 1.1启动流程sysvinit 串行启动:一次一个,一个一个启动 并行启动:全部的一起启动 init优点 运行非常良好。主要依赖于shell脚本 init缺点 1、启动慢 2、容易夯住,fstab与nfs挂载问题 1.2upstart 技术 使用的版本: centos6 ub ...
分类:其他好文   时间:2020-07-27 15:59:50    阅读次数:77
shell脚本的条件判断记录
在写jenkinsbash脚本的时候对更新前进行备份,当需要备份的文件不存在时候,jenkins会直接退出修改一下脚本对需要备份的文件进行判断,如果存在文件或目录则备份,这样就不会报错了,作个记录
分类:系统相关   时间:2020-07-27 14:03:19    阅读次数:89
hadoop-hdfs
4 大数据技术之Hadoop(HDFS) 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小(面试重点) 第2章 HDFS的Shell操作(开发重点) 1.基本语法 bin/hadoop fs 具体命令 OR bin/h ...
分类:其他好文   时间:2020-07-26 19:35:03    阅读次数:94
Spark SQL(6) OptimizedPlan
Spark SQL(6) OptimizedPlan 在这一步spark sql主要应用一些规则,优化生成的Resolved Plan,这一步涉及到的有Optimizer。 之前介绍在sparksession实例化的是会实例化sessionState,进而确定QueryExecution、Analy ...
分类:数据库   时间:2020-07-26 19:28:25    阅读次数:101
Spark MLlib机器学习概论
一.什么是机器学习? 什么是机器学习?Herbert Sinmon给“学习”做出了这样的定义:“如果一个系统能够通过执行某个过程而改进性能,这就是学习。”更通俗的理解是:机器学习能够自动地从数据中学习“程序”,而这个程序不是人来编写的。 平面上有两类点,黄色代表类别a,蓝色代表类别b。这时我们希望能 ...
分类:其他好文   时间:2020-07-26 15:43:33    阅读次数:56
34921条   上一页 1 ... 77 78 79 80 81 ... 3493 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!