如前一篇笔记,我们还是只讨论两层嵌套布局的情况。 前面的布局有一个缺点:有三个内层布局,则需要三个空部件。那若有十个内层布局呢?显然会让人不舒服。 刚才在玩 Qt Designer 时,发现了一个更好的办法,不管有多少个内层布局,只需要一个空部件。 一、过程分析: 1. 先准备一个全局部件,用于"承
分类:
其他好文 时间:
2016-01-31 21:32:21
阅读次数:
217
一:背景 Hadoop中虽然有自动排序和分组,由于自带的排序是按照Key进行排序的,有些时候,我们希望同时对Key和Value进行排序。自带的排序功能就无法满足我们了,还好Hadoop提供了一些组件可以让开发人员进行二次排序。 二:技术实现 我们先来看案例需求 #需求1: 首先按照第一列数字升序排列
分类:
编程语言 时间:
2016-01-31 21:31:22
阅读次数:
559
一:背景 有时候,我们可以不以偏移量和行文本内容来作为数据源到MapTask的输入格式,而使用键值对的形式,使用KeyValueInputFormat就可以完成这种需求。 二:技术实现 数据源如下 操作代码如下: [java] view plain copy public class MyKeyVa
分类:
其他好文 时间:
2016-01-31 21:29:13
阅读次数:
393
序列化的概念 1.序列化(Serialization)是指把结构化对象转化为字节流。 2.反序列化(Deserialization)是序列化的逆过程,即把字节流转回结构化对象Hadoop序列化的特点 1.序列化格式特点 ——紧凑:高效使用 存储空间 ——快速:读写数据的额外开销小 ——可扩展:可透明
分类:
其他好文 时间:
2016-01-31 21:31:56
阅读次数:
359
一:背景 SemiJoin,一般称为半连接,其原理是在Map端过滤掉一些不需要join的数据,从而大大减少了reduce和Shuffle的时间,因为我们知道,如果仅仅使用Reduce端连接,那么如果一份数据,存在大量的无效数据,而这些数据在join中并不需要,但是因为没有做过预处理,所以这些数据直到
分类:
其他好文 时间:
2016-01-31 21:30:54
阅读次数:
297
一、 通过readline 逐行读取: #--encoding:utf-8 with open("ha.conf","r",encoding='utf-8') as f: print(f) print(f.encoding) strline = f.readline() while strline:
分类:
编程语言 时间:
2016-01-31 21:31:06
阅读次数:
267
写博客,不容易,你们的评论和转载,就是我的动力, 但请注明出处,隔壁老王的开发园:http://www.cnblogs.com/titibili 2016年1月31日 18:53 作者:Ygirl Model(模型) View(视图) Controller(控制器) 以前大部分应用程序通过过程化模式...
分类:
Web程序 时间:
2016-01-31 21:29:38
阅读次数:
360
背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce
分类:
其他好文 时间:
2016-01-31 21:28:47
阅读次数:
222
在iOS开发过程中,在UILable中lineBreakMode中有以下几个功能 NSLineBreakByWordWrapping = 0 //以空格为界,保留整个单词。 NSLineBreakByCharWrapping //保留整个字符 NSLineBreakByClipping //简单剪裁
分类:
移动开发 时间:
2016-01-31 21:28:41
阅读次数:
625
文件压缩主要有两个好处,一是减少了存储文件所占空间,另一个就是为数据传输提速。在hadoop大数据的背景下,这两点尤为重要,那么我现在就先来了解一下hadoop的文件压缩。 Hadoop里支持很多种压缩格式,看下表: DEFLATE是同时使用了LZ77算法与哈弗曼编码(Huffman Coding)
分类:
其他好文 时间:
2016-01-31 21:29:35
阅读次数:
320
一:概述 随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已经得到越来越广泛的应用。 二:存在问题: Hadoop作为一个基础数据处理平台,虽然其应用价值已经得到大家认可,但仍然存在问题,以下是主要几个
分类:
其他好文 时间:
2016-01-31 21:29:04
阅读次数:
341
关注点: 可维护性和复用 分层清晰,将业务逻辑的实现单独分离出来,有利于系统后期的维护。 软件复用是企业开发的生命,企业以追求利润为最大目标,企业希望以最快的速度,开发出最稳定、最实用的软件,系统使用框架,可以减少开发时产生的漏洞,减少系统出错的风险,减少投入的人力,物力和财力。只要有实际开发经验的
分类:
其他好文 时间:
2016-01-31 21:29:53
阅读次数:
213
## Objective-C KVC 自己主动转换类型研究 apple非常厚道,kvc的时候帮我们做了一些类型转换,规律贴出来,给大伙參考參考 @interface Entity : NSObject @property (nonatomic, copy) NSString *str; @prope
分类:
其他好文 时间:
2016-01-31 21:29:42
阅读次数:
155
struct Edge { int from,to,cap,flow,cost; }; struct MCMF { int n,m,s,t; vector<Edge> edges; vector<int> G[maxn]; int inq[maxn]; int d[maxn]; int p[maxn
分类:
其他好文 时间:
2016-01-31 21:27:45
阅读次数:
268
1.hash 方式访问。 %ENV key为环境变量名,value为环境变量值 2.调用ENV模块 。 use Env qw(PATH); print "path is $ENV{path}\n"; 这段代码会创建(或者覆盖)环境里的PerlVar变量。 $ENV{PerlVar} = "Perl
分类:
其他好文 时间:
2016-01-31 21:28:16
阅读次数:
3355
数据完整性 IO操作过程中难免会出现数据丢失或脏数据,数据传输量越大出错的几率就越大。校验错误最常用的办法就是传输前计算一个校验和,传输后计算一个校验和,两个校验和如果不相同就说明数据存在错误,比较常用的错误校验码是CRC32。 HDFS数据完整性 HDFS写入的时候计算出校验和,然后每次读的时候再
分类:
其他好文 时间:
2016-01-31 21:27:08
阅读次数:
191
在Gemfile文件中添加'bootstrap-sass',再运行bundle install gem 'bootstrap-sass' 在config/application.rb添加一行代码,让bootstrap-sass和asset pipeline兼容 class Application <
分类:
其他好文 时间:
2016-01-31 21:27:45
阅读次数:
269