加上两个下划线变量或者方法变为私有。 >>> class Bird: ... __song = "spark" ... def sing(self): ... return self.__song ... >>> b = Bird() >>> b.sing() 'spark' ...
分类：
编程语言 时间：
2014-08-10 18:12:40
阅读次数：
284
Spark特别适用于多次操作特定的数据，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的内存，成本很高;mem
& disk:内存用完后，会自动向磁盘迁移，解决了内存不足的问题，却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析：
1、场景：精确客户群
对一个容量为300g的客...
分类：
其他好文 时间：
2014-08-09 23:19:39
阅读次数：
301
原文地址 本文内容 JSON 的三种方式 示例 Full Data Binding (POJO) 示例 "Raw" Data Binding 示例 用泛型数据绑定 Tree Model 示例 Streaming API 示例 Streaming API 示例 2: 数组 ...
分类：
其他好文 时间：
2014-08-08 01:30:45
阅读次数：
400
在Hive中，需要实现Hive中的函数无法实现的功能时，就可以用Streaming来实现。其原理可以理解成：用HQL语句之外的语言，如Python、Shell来实现这些功能，同时配合HQL语句，以实现特殊的功能。
比如，我有一张不同网站访问的日志表，其中有两个列是url和ref，分别代表当前访问的网址和来源地址，我想要查看用户的来源，即看用户都是从那些网站跳到这些网站上去的，这里有些网站可能域名...
分类：
编程语言 时间：
2014-08-07 23:21:44
阅读次数：
448
5个提案的14个开题报告，涉及数据可视化实践、社交云电视模型、Spark上流式机器学习算法实现、基于云存储的Linux系统增强服务和网络拓扑距离的高效KNN查询。...
分类：
其他好文 时间：
2014-08-07 18:58:10
阅读次数：
306
最近研究了下Spark如何读写压缩格式的文件，主要有如下三种方式，这里以lzo方式压缩为例/*******************oldhadoopapi*************************/
valconfHadoop=newJobConf
confHadoop.set("mapred.output.compress","true")
confHadoop.set("mapred.output.compression.c..
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：...
分类：
其他好文 时间：
2014-08-06 18:36:01
阅读次数：
195
Spark应用程序编写，执行应该注意的问题。...
分类：
其他好文 时间：
2014-08-05 22:49:32
阅读次数：
272
