围绕spark的其他特性和应用。主要包括以下几个方面 spark自定义分区 spark中的共享变量 spark程序的序列化问题 spark中的application/job/stage/task之间的关系 spark on yarn原理和机制 spark的资源分配方式 1. spark自定义分区 1 ...
分类：
其他好文 时间：
2019-10-19 20:33:15
阅读次数：
102
babel篇 在package.json中添加--exec babel-node 如果需要编译es6，我们需要设置presets包含es2015，也就是预先加载es6编译的模块。 如果需要编译es7，我们需要设置presets包含stage-0，也就是预先加载es7编译的模块。 然后在.babelr ...
分类：
其他好文 时间：
2019-10-17 14:03:50
阅读次数：
282
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 前向分步算法# 一、前向分步算法引入假设Nick的年龄是25岁。1. 第1棵决策树把Nick的年龄设置成初始值0... ...
分类：
编程语言 时间：
2019-10-16 17:39:52
阅读次数：
90
一、Git代码状态转换图 其中： 未被Git跟踪的状态为unstage状态； 已被Git跟踪的状态为stage状态（stage：阶段），因此包括staging状态和staged状态。 untrack files：是指尚未被git所管理的文件；changed but not updated：是指文件被 ...
分类：
其他好文 时间：
2019-10-15 12:55:52
阅读次数：
85
一、任务： 实现一个帮助进行北京地铁出行路线规划的命令行程序。 二、需求分析及实现 需求1 在程序启动时，自动获取到地图信息 需求1 在程序启动时，自动获取到地图信息 在程序启动时，自动获取到地图信息 需要实现一个支持自动加载subway.txt 文件的程序 需求2 查询指定地铁线经过的站点 在应用 ...
分类：
其他好文 时间：
2019-10-13 20:48:10
阅读次数：
169
写wiki感觉不太好，直接写个人博客。其中掺杂了太多个人理解，不保证正确性。但是感觉网上的都是官样文章，而且都是抄来抄去，真真叫没意思。新手村推荐一个极好的博客，最好是一边看能够一遍动手验证，看看scala的函数是怎样转化成不同的stage和task的，看看spark-sql是怎么划分的，理解比较深... ...
分类：
其他好文 时间：
2019-10-11 23:12:37
阅读次数：
110
主要围绕spark的底层核心抽象RDD和原理进行理解。主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spark任务的DAG有向无环图的构建 spark任务如何划分stage spark任务的提交和调度流程 1 ...
分类：
其他好文 时间：
2019-10-07 23:44:39
阅读次数：
217
原理: RDD:使用内存--基本处理单位RDD:弹性分布式数据集 spark处理的时候,处理的是RDD数据(相当于是将块数据加载到内存中) 类似: [1,2,3,4,5,...] 1个节点处理 [1,2] 1个节点处理[3,4,5] ...... stage: 一个 Job 会被分成一个或多个Sta ...
分类：
其他好文 时间：
2019-10-04 13:12:04
阅读次数：
78
1，BIOS开机自检，检查cpu硬件及开机启动顺序，查找第一个磁盘磁头的MBR信息并加载BOOtloader，然后将控制权交与bootloader 2, GRUB GRUB(Grand Unified Bootloader)，多系统启动程序 stage1 : 查找加载stage 1.5 stage1 ...
分类：
系统相关 时间：
2019-10-04 00:00:00
阅读次数：
164
Stage variables are name-value pairs that you can define as configuration attributes associated with a deployment stage of a REST API. They act like e ...
