今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家：目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql...
分类：
数据库 时间：
2014-12-05 09:15:17
阅读次数：
438
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs...
分类：
其他好文 时间：
2014-12-04 17:57:26
阅读次数：
450
总结了一下三个方法：hdfs自带 按字节复制 按行复制 （在java io里还有字符复制，暂且不提）因为hdfs自带的，不知道为什么有些场合不能用，每次能下载的个数还不一定，所以就考虑自己按照java的方式来复制，就出现第2、3种方法 // void downloadFromHdfs(String ...
分类：
其他好文 时间：
2014-12-04 17:20:25
阅读次数：
195
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
一、hdfs写数据1、客户端通过Hadoop文件系统相关API 发送请求。打开一个要写入的文件，如果该用户拥有足够的权限，这一请求会被发送到NameNode，在NameNode上建立该文件的元数据。2、刚建立的新文件元数据并未将该文件和任何数据块关联，客户端仅收到打开文件成功的响应。3、客户端在API层面上将数据写入流中，数据被自动拆分成数据包，数据包保存在内存队列中。4、客户端有一个独立的线程，...
分类：
其他好文 时间：
2014-12-04 12:12:58
阅读次数：
170
HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本..
分类：
其他好文 时间：
2014-12-03 07:09:21
阅读次数：
213
介绍怎样搭建用eclipse开发调试Hadoop的环境...
分类：
系统相关 时间：
2014-12-03 00:29:55
阅读次数：
288
识别和定位fs.defaule.name(core-site.xml)定义客户端所使用的默认文件系统的URL。默认值为file:/// 这意味着客户访问的是本地Linux文件系统。但是生产集群HDFS时，希望这个参数来替代 hdfs://hostname:port 这里hostname和port分....
分类：
其他好文 时间：
2014-12-02 22:06:11
阅读次数：
148
