1、什么是RDD？ 最核心 （*）弹性分布式数据集，Resilent distributed DataSet （*）Spark中数据的基本抽象 （*）结合源码，查看RDD的概念 RDD属性 * Internally, each RDD is characterized by five main pr ...
分类：
其他好文 时间：
2018-03-31 23:15:30
阅读次数：
379
Spark Core 一、什么是Spark？ 1、什么是Spark？生态体系结构 Apache Spark? is a fast and general engine for large-scale data processing. 生态圈： 1、Spark Core 2、Spark SQL 3、S ...
分类：
其他好文 时间：
2018-03-31 14:47:58
阅读次数：
167
Scala函数式编程 一、Scala中的函数 (*) 函数是Scala中的头等公民，就和数字一样，可以在变量中存放函数，即：将函数作为变量的值（值函数）。 运行： 二、匿名函数：没有名字的函数 运行： 三、高阶函数：带函数参数的函数 注意：把一个函数作为另外一个函数的参数值 四、高阶函数示例 运行： ...
分类：
其他好文 时间：
2018-03-30 23:07:05
阅读次数：
192
昨天讲了那么多坏味道，今天就说下该怎样清理那些坏味道。 1.提炼函数（Extract Method） 将一段代码放进一个独立函数中，并让函数名称解释该函数的用途。 动机：简短而命名良好的函数有以下几个优点： - 如果每个函数的粒度都很小，那么函数被复用的机会就更大 - 会使高层函数读起来就像一系列注 ...
分类：
其他好文 时间：
2018-03-30 20:04:36
阅读次数：
169
本文翻译自 "www.tensorflow.org" 的英文教程。 模块包含一组类，可以让你轻松加载数据，操作数据并将其输入到模型中。本文通过两个简单的例子来介绍这个API 从内存中的numpy数组读取数据。 从csv文件中读取行 基本输入 对于刚开始使用 ，从数组中提取切片(slices)是最简单 ...
分类：
其他好文 时间：
2018-03-30 01:16:59
阅读次数：
654
1、通过的名称和属性查找标签和之前一样，抓取整个页面，然后创建一个BeautifulSoup对象。这里面“lxml”解析器需要另外下载。pip3?install?lxml>>>?from?urllib.request?import?urlopen
>>>?from?bs4
分类：
编程语言 时间：
2018-03-30 00:14:07
阅读次数：
218
Scala语言的面向对象编程 一、面向对象的基本概念:把数据和操作数据的方法放到一起，作为一个整体（类 class） 面向对象的特征： （1）封装 （2）继承 （3）多态 二、定义类: class，没有类的修饰符: public、protected、private 运行： 三、属性的get和set方 ...
分类：
其他好文 时间：
2018-03-30 00:07:40
阅读次数：
256
浪潮之巅读书笔记（二） 上一次我读了书的前三章，主要描述了几家公司的兴衰历程。后面几章也是讲的公司的兴衰，虽然缘由各不一样，但其中的过程总是相似的，于是这些章节我都不作细致的笔记分析了。这次我挑几章更大局的章节写一些概述。 计算机工业的生态链 摩尔定理 比尔盖茨说过，要是汽车工业能够像计算机领域这样 ...
分类：
其他好文 时间：
2018-03-29 14:47:42
阅读次数：
146
一、Redis内存数据库 一个key-value存储系统，支持存储的value包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。数据存在缓存中。 与MemCached区别： （*）支持持久化 （*）丰富的数据类型 （*） ...
分类：
数据库 时间：
2018-03-27 18:45:31
阅读次数：
252
python不需要声明类型信息,因为Python的变量标识符没有类型。 在Python中创建一个列表时，解释器会在内存中创建一个类似数组的数据结构类存储数据，数据项自下而上堆放（形成一个堆栈）。索引从0开始。 使用中括号记法访问列表数据，如movies[1]。 列表使用： cast=["Cleese ...
分类：
编程语言 时间：
2018-03-27 14:44:10
阅读次数：
165
