层层递进-解开hdfs的面纱 1、hdfs是什么？它与普通服务器的文件系统有什么区别？它的特性有什么？ 2、hdfs的工作原理是怎样的？ 3、每台机器都单独启动有什么弊端？假设有1000台机器需要启动？该怎么解决呢？ 4、hdfs配置与使用 5、利用javaApi充当客户端访问hdfs hdfs简介 ...
分类：
其他好文 时间：
2017-05-06 23:07:33
阅读次数：
325
使用hadoop工具将数据分析出来以后，须要做入库处理或者存到缓存中。不然就没了意义 一下是使用javaAPI操作hdfs存入缓存的代码： <span style="font-family:Microsoft YaHei;font-size:14px;">public class InterestT ...
分类：
数据库 时间：
2017-04-12 15:09:55
阅读次数：
179
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统..
分类：
其他好文 时间：
2017-04-12 05:24:15
阅读次数：
278
TimSort排序算法及一个问题分析摘要排序算法简析代码入口排序算法获取两个有序数组A和B找到待归并区间准备操作归并操作TimSort的优化归并操作问题解析问题解析问题原因解决方案参考摘要简单介绍了传统归并排序算法，以及JavaAPI提供的TimSort优化后的归并排序算法。并且分析了..
分类：
编程语言 时间：
2017-04-08 16:27:15
阅读次数：
391
1 package hbase; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.hbase.HBaseConfiguration; 5 import org.apache.hadoop.hbas... ...
分类：
编程语言 时间：
2017-04-07 23:34:54
阅读次数：
193
在使用Kettle执行Job或者转换的时候有多种方式，例如：一：通过命令行来执行kitchen.sh来执行指定的Job，例如：kitchen.bat-file="../work/start.kjb"通过"Pan.bat"来执行指定的转换，例如：Pan.bat-file="../work/start.ktr"二：通过JavaAPI接口在代码中执行KettleEnvironment..
分类：
其他好文 时间：
2017-04-06 17:24:53
阅读次数：
3012
处理excel，开源的javaApI提供了两种，一种是jxl，一种是poi。poi提供的功能较多，所以我用的是poi。 poi有两种模式，一个是用户模式（HSSFworkbook：支持Excel2003，XSSFworkbook:支持Excel2007），这个操作数量上万的时候会造成out of m ...
分类：
其他好文 时间：
2017-04-04 20:22:40
阅读次数：
193
package cn.itcast.bigdata.hdfs; import java.net.URI; import java.util.Iterator; import java.util.Map.Entry; import org.apache.hadoop.conf.Configuratio... ...
分类：
编程语言 时间：
2017-03-29 22:58:37
阅读次数：
270
在eclipse中调用JavaAPI实现HDFS中的相关操作 1、创建一个java工程 2、右键工程，在属性里添加上hadoop解压后的相关jar包（hadoop目录下的jar包和lib目录下的jar包） 3、调用相关代码，实现相关hdfs操作 RPC 1.1 RPC (remote procedu ...
分类：
编程语言 时间：
2017-03-29 22:40:20
阅读次数：
381
概述： 迭代器用于集合元素的遍历 迭代器有两种，分别是Iterator和ListIterator Iterator可以用于任何类型集合的遍历 ListIterator只能用于List集合的遍历 ListIterator接口继承了Iterator接口，所以前者拥有后者所定义的所有成员函数，同时，Lis ...
分类：
编程语言 时间：
2017-03-10 12:22:03
阅读次数：
190
