前言 Python可以利用shutil库进行对文件夹，文件的迁移。而在本次的实践当中，难点在于目标文件夹的名称和数据源文件夹的名称，需要利用 工作单位提供的中间数据去进行对比连接起来。 例如：目标源的文件夹叫做，“1.台协办”。而数据源的文件夹叫做“103_广东省台协办委员会”。而他们中间的数据叫“ ...
分类：
编程语言 时间：
2019-03-01 12:27:52
阅读次数：
226
一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。 其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。 因为有些隐式生成的RDD，可能是ShuffledRDD ...
分类：
其他好文 时间：
2018-11-25 17:46:19
阅读次数：
247
1)什么是python:python是一门解释性语言,弱类型语言.2)变量(在程序运行过程中产生的中间值 供给后面使用)的命名规则:1,由 字母,数字,下划线组成.2,不能是数字开头,更不能是纯数字.3,不能用关键字4,不要用中文5,不能太长6,要有意义7,区分大小写8,推荐使用驼峰和下划线3)数据 ...
分类：
其他好文 时间：
2018-09-18 16:05:39
阅读次数：
102
deque：双端队列 底层是一个双向链表。 常用的有队列的尾部入队、首部出队。 摘自：http://www.cnblogs.com/liubilan/p/9461141.html deque - 双向队列 1.构造 无参构造： 带参构造： 2.头部&尾部的添加和删除 3.中间数据存取 4.元素插入 ...
分类：
其他好文 时间：
2018-08-29 14:19:17
阅读次数：
142
[TOC]#94.第03章节-Python3.5-静态方法、类方法、属性方法静态方法：只是看似归类管理，实际上在静态方法里访问不了类或实例中的任何属性类方法：只能访问类变量，不能访问实例变量属性方法：把一个方法变成一个静态属性 #97.第06章节-Python3.5-深入讲解类的特殊成员方法__ne ...
分类：
其他好文 时间：
2018-08-20 11:38:00
阅读次数：
200
黑板模式 定义：黑板模式是一种常用的架构模式，应用中的多种不同数据处理逻辑相互影响和协同来完成数据分析处理。就好像多位不同的专家在同一黑板上交流思想，每个专家都可以获得别的专家写在黑板上的信息，同时也可以用自己的分析去更新黑板上的信息，从而影响其它专家。 优缺点： 黑板模式的优点：可用于非确定性问题 ...
分类：
其他好文 时间：
2018-05-25 01:42:49
阅读次数：
133
Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大地提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，SparkMLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。比如用Spark做统计词频，即拿到一串文字进行WordCount，可以把这个文
分类：
其他好文 时间：
2018-04-26 14:54:19
阅读次数：
174
我们将inode表与block块称为数据存放区域，superblock、block块位图、inode位图等称为中间数据或者是元数据，因为元数据经常变化，会存在与实际数据不一致的情况。所以就有了文件系统日志功能。
分类：
系统相关 时间：
2018-04-16 15:12:26
阅读次数：
200
Stream和Collection的区别是什么 流和集合的区别是什么？ 粗略地说, 集合和流之间的差异就在于 什么时候 进行计算。集合是一个内存中的数据结构，它包含数据结构中目前所有的值 集合中的每个元素都得先计算出来才能添加到内存里。(你可以往集合里加东西或者删东西，但是不管什么时候，集合中的每个 ...
分类：
编程语言 时间：
2018-04-02 20:09:34
阅读次数：
242
单片机是什么？你可以理解为它是一台微型的电脑，没有IO设备的电脑。为什么这样说，我们可以来对比一下。 个人电脑的主要硬件如下：CPU 内存 硬盘 键盘 显示器 单片机主要硬件：CPU RAM ROM 其中ROM用来存程序代码，CPU用来进行数据的处理，程序执行时程序先装入RAM中，产生的中间数据也在 ...
分类：
其他好文 时间：
2018-02-19 14:57:07
阅读次数：
173
