什么是lambda表达式？ 众所周知，Java是一门强大的面向对象的语言，在Java中，除了8种基本的数据类型，其他一切皆为对象， 而数据和对数据的操作，是依赖于对象的属性和方法。面向对象的三大核心：封装、继承、多态都是对数据的抽象，而lambda提供了一种对行为抽象的编程模型。 Java中将方法作 ...
分类：
其他好文 时间：
2019-01-23 11:35:08
阅读次数：
152
1、JMS介绍和使用场景及基础编程模型 简介：讲解什么是小写队列，JMS的基础知识和使用场景 1、什么是JMS: Java消息服务（Java Message Service),Java平台中关于面向消息中间件的接口 2、JMS是一种与厂商无关的 API，用来访问消息收发系统消息，它类似于JDBC(J... ...
分类：
编程语言 时间：
2019-01-21 22:49:51
阅读次数：
212
创建RDD 方式一：从集合创建RDD ● makeRDD ● Parallelize 注意：makeRDD可以指定每个分区perferredLocations参数parallelize则没有。 方式二：读取外部存储创建RDD Spark与Hadoop完全兼容，所以对Hadoop所支持的文件类型或者数 ...
分类：
其他好文 时间：
2019-01-21 16:08:36
阅读次数：
162
创建Pair RDD 什么是Pair RDD ● 包含键值对类型的RDD被称作Pair RDD ● Pair RDD通常用来进行聚合计算 ● Pair RDD通常由普通RDD做ETL转换而来 创建Pair RDD ● Python:pairs = lines.map(lambda x: (x.spl ...
分类：
其他好文 时间：
2019-01-21 16:05:29
阅读次数：
183
从Hadoop MR到Spark 回顾hadoop—mapreduce计算过程 MR VS Spark 从Hadoop MR到Spark 回顾hadoop—mapreduce计算过程 MR VS Spark Spark编程模型 核心概念 注意：对比mr里的概念来学习 Spark Applicatio ...
分类：
其他好文 时间：
2019-01-20 17:34:04
阅读次数：
226
一、Akka简介 Akka时spark的底层通信框架，Hadoop的底层通信框架时rpc。 并发的程序编写很难，但是Akka解决了spark的这个问题。 Akka构建在JVM平台上，是一种高并发、分布式、并且容错的应用工具包； Akka使用Scala语言编写，同时它提供了Scala和Java的开发接 ...
分类：
其他好文 时间：
2019-01-20 10:31:05
阅读次数：
163
无阻塞 编程模型 涉及到 异步回调流， Task， async await， 线程池， 并发编程， 并行编程， 大并发架构， 操作系统 之上 编程模型 的 发展 等等 。 我这段时间对 这个领域 的 现状 进行了一些 收集整理 和 批判 ， 请看 ： 《后线程时代 的 应用程序 架构》 https: ...
分类：
其他好文 时间：
2019-01-18 16:34:35
阅读次数：
172
GitHub是一个面向开源及私有软件项目的托管平台、也是项目版本管理工具，会使用它是程序员入门的必备技能。PaddlePaddle也不例外，所有的源码及项目进展都在GitHub上开源公布。但对于刚入门写程序的同学来说，一打开GitHub看起来云里雾里，会有种无从下手的感觉，本文给同学介绍Paddle ...
分类：
其他好文 时间：
2019-01-17 12:47:17
阅读次数：
197
asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。 asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。 用asyncio实现Hello worl ...
分类：
其他好文 时间：
2019-01-12 14:19:00
阅读次数：
184
重点组件：HDFS：Hadoop的分布式文件存储系统MapReduce：Hadoop的分布式程序运算框架，也可以叫做一种编程模型Hive：基于Hadoop的类SQL数据仓库工具HBase：基于Hadoop的列式分布式NoSQL数据库ZooKeeper：分布式协调服务组件Mahout：基于MapReduce/Flink/Spark等分布式运算框架的机器学习算法库Oozie/Azkaban：工作流调度
分类：
其他好文 时间：
2019-01-11 14:19:16
阅读次数：
174
