在我们ios的开发中gdataxml是一个常用的开源实现,很多第三方的库在实现里也会加入它的源码。我们在使用此类库或者直接使用gdataxml库时,切记要在工程中引入libxml2这个框架,否则编译会报错,提示类似下面:
Undefined symbols for architecture armv7:
"_xmlDocDumpMemory", referenced from: xxx
...
分类:
移动开发 时间:
2014-07-22 23:04:33
阅读次数:
329
报错:
symbol dyld_stub_binding_helper not found, normally in crt1.o/dylib1.o/bundle1.o for architecture i386
解决:
Project -> Targets -> General -> Deployment Info
-> Deployment Target ->选择7.0
...
分类:
其他好文 时间:
2014-07-22 23:01:33
阅读次数:
368
环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类:
其他好文 时间:
2014-05-06 08:59:21
阅读次数:
368
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类:
其他好文 时间:
2014-05-05 13:10:34
阅读次数:
463
使用hbase的目的是为了海量数据的随机读写,但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题,而且hbase的数据是存储在Hdfs,而Hdfs是面向流失数据访问进行设计的,就难免带来效率的下降。下面介绍一下Facebook
Message系统在HBase online storage场...
分类:
其他好文 时间:
2014-05-04 11:08:29
阅读次数:
337
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.t...
分类:
编程语言 时间:
2014-05-03 22:10:40
阅读次数:
300
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:
其他好文 时间:
2014-05-03 01:51:40
阅读次数:
382
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢?
读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:
其他好文 时间:
2014-05-02 23:22:14
阅读次数:
450
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势:
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,...
分类:
其他好文 时间:
2014-05-01 17:45:58
阅读次数:
379
之前看过很多关于三层的博客,所以这次自己重学三层之前,就给自己提了几个问题:一,三层指的是哪三层,每层的作用是什么? 二,为什么要分三层? 三,三层结构的优缺点? 四,如何分层?
下面,让我们来逐一回答这些问题。
一,三层指的是哪三层,每层的作用是什么?
三层架构(3-tierarchitecture) 通常意义上的三层架构就是将整个业务应用划分为:...
分类:
其他好文 时间:
2014-04-30 22:11:38
阅读次数:
343