在Spark应用开发中，很容易出现如下报错： 该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 1、Java序列化含义？ 2、Spark代码为什么需要序列化？ 3、如何解决Spark序列化问题？ 1、Jav ...
分类：
其他好文 时间：
2018-02-25 13:05:17
阅读次数：
155
Common Transformations and Actions 本章中，我们浏览了Spark中大多数常见的transformation（转换）和action（动作）。在包含特定数据类型的RDD上可以进行额外的操作，例如，可以对纯数字RDD使用统计函数，对键值对的RDD进 ...
分类：
其他好文 时间：
2018-02-24 15:04:15
阅读次数：
242
1：什么是Spark的RDD？？？ 2：RDD的属性： 3：创建RDD： 4：RDD编程API： 4.1：Transformation： RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结 ...
分类：
其他好文 时间：
2018-02-23 20:43:22
阅读次数：
389
一、前述 Spark中默认有两大类算子，Transformation（转换算子）,懒执行。action算子，立即执行，有一个action算子 ，就有一个job。 通俗些来说由RDD变成RDD就是Transformation算子，由RDD转换成其他的格式就是Action算子。 二、常用Transfor ...
分类：
其他好文 时间：
2018-02-01 22:01:33
阅读次数：
233
etl工作中Kettle软件介绍PentahoDataIntegration(Kettle)是Pentaho生态系统中默认的ETL工具。Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。通过非常直
分类：
其他好文 时间：
2018-01-24 11:07:31
阅读次数：
241
我们经常会碰到很多URL或cookie改写的需求，在netscaler10.1版本以前只能通过比较复杂的标准rewrite策略来做，不但费时而且还容易出错。后续的版本特意把比较这类操作频繁但需求又不复杂的操作从rewrite中摘出来，形成 transformation模块。可以做转换的对象包括request方向和response方向的URL(注意是hostname+URI都可以改，不只是路径），Cookie的domain，复合正则表达式可以用的非常灵活（如果感觉正则不太会写，可以参考《Netscaler数据索引String Map与Pattern Set的》来方便枚举不算太多的参数）总之Netscaler的设计就是在满足稳定性和功能性的前提下尽量让大家的操作简单。
分类：
Web程序 时间：
2018-01-18 23:12:25
阅读次数：
468
RDD算子分为两类：Transformation和Action，如下图，记住这张图，走遍天下都不怕。 Transformation：将一个RDD通过一种规则映射为另外一个RDD。 Action：返回结果或保存结果。 注意：只有action才触发程序的执行，transformation不触发执行。 R ...
分类：
其他好文 时间：
2018-01-18 13:20:52
阅读次数：
236
transformation算子 1、map（） 2、flatmap（） 3、mapPartitions（） 4、union（） 5、groupByKey（） 6、filter（） 7、distinc（）去重 8、subtract（）集合的差操作 9、cache（）从磁盘缓存到内存 10、persi ...
分类：
其他好文 时间：
2018-01-18 01:00:54
阅读次数：
117
A frequent use case when transducing is to apply a transformation to items without changing the type of the collection. In this lesson, we'll create a ...
分类：
其他好文 时间：
2018-01-17 22:03:10
阅读次数：
174
