标签：write htable ++ gets hdfs 内容 result jpg init
图片文件一般在100k一下，质量好一些的在几百k，特殊的图像可能达到10m左右，如果直接存储在hdfs上会对namenode的内存造成很大的压力，因为namenode的内存中会存储每个文件或者目录的inode信息。但是如果存储在hbase中，hbase的单个cell超过100k就会造成后期压力。因此采用hdfs的sequenceFile存储文件，hbase存储文件在sequenceFile中的索引信息。
sequenceFile存储
自hadoop2.7.3以后，sequenceFile的write有了一个新的参数：AppendIfExistsOption，实现了可以向现有的sequenceFile中追加数据。每次写入数据之前和之后都记录当前的拍偏移 writer.getLength()，分别记为startPos和endPos。
hbase索引存储
将文件名称(文件唯一标识)作为rowkey，存储该文件所在的sequenceFile的名称，以及存储时记录的startPos和endPos。
文件读取
给定文件名，从hbase中检索到文件存储在hdfs对应的sequenceFile的name(包含路径)，以及在文件中的起止position。根据文件名和起止位置去hdfs读取文件内容。
代码如下：
/**
* 创建表
*/
public static void createTable() throws IOException{
HBaseAdmin admin = HbaseInit.getHBaseAdmin();
HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tableName));
HColumnDescriptor fimalyDesc = new HColumnDescriptor("v");
tableDesc.addFamily(fimalyDesc);
admin.createTable(tableDesc);
}
/**
* 将指定的文件写入文件系统，并将索引写入hbase
*/
public static void FileWriter(byte[] image, int count) throws IOException {
IntWritable key = new IntWritable();
Text value = new Text((byte[]) image);
SequenceFile.Writer writer = null;
Option optPath = SequenceFile.Writer.file(p);
Option optKey = SequenceFile.Writer.keyClass(key.getClass());
Option optVal = SequenceFile.Writer.valueClass(value.getClass());
Option optExist = SequenceFile.Writer.appendIfExists(true);
Option optCompress = SequenceFile.Writer.compression(CompressionType.RECORD);
try {
writer = SequenceFile.createWriter(fs.getConf(), optPath, optKey, optVal, optExist, optCompress);
long time = System.currentTimeMillis();
HTable table = HbaseInit.getTable(TableName.valueOf("imageIdx"));
long startPos = 0;
for(int i = 0; i<count; i++){
startPos = writer.getLength();
writer.append(key, value);
Put put = new Put(Bytes.toBytes(System.currentTimeMillis()+"/ddd/ddd.txt"));
put.addColumn(Bytes.toBytes("v"), Bytes.toBytes("name"), Bytes.toBytes("/ddd/ddd.txt"));
put.addColumn(Bytes.toBytes("v"), Bytes.toBytes("start"), Bytes.toBytes(startPos));
put.addColumn(Bytes.toBytes("v"), Bytes.toBytes("end"), Bytes.toBytes(writer.getLength()));
table.put(put);
}
System.out.println("写入hdfs&hbase耗时： "+ (System.currentTimeMillis()-time));
} catch (Exception e) {
e.printStackTrace();
logger.error(e);
} finally {
IOUtils.closeStream(writer);
}
}
/**
* 读取指定rowkey对应的索引数据
*/
public static HbaseStoryEntity GetIdx(String rowKey) throws IOException{
HTable table = HbaseInit.getTable(TableName.valueOf(tableName));
Get get = new Get(Bytes.toBytes(rowKey));
Result r = table.get(get);
HbaseStoryEntity imageFile = new HbaseStoryEntity();
for(Cell cell: r.listCells()){
if(Bytes.toString(CellUtil.cloneQualifier(cell)).equals("name")){
imageFile.setFileName(Bytes.toString(CellUtil.cloneValue(cell)));
}else if(Bytes.toString(CellUtil.cloneQualifier(cell)).equals("start")){
imageFile.setStartPos(Bytes.toLong(CellUtil.cloneValue(cell)));
}else if(Bytes.toString(CellUtil.cloneQualifier(cell)).equals("end")){
imageFile.setEndPos(Bytes.toLong(CellUtil.cloneValue(cell)));
}
}
return imageFile;
}
/**
* 按照索引数据从sequenceFileduq读取数据
*/
public static void FileReader(HbaseStoryEntity imageIdx) throws IOException {
SequenceFile.Reader.Option optlen = SequenceFile.Reader.length(imageIdx.getEndPos());
SequenceFile.Reader reader = new SequenceFile.Reader(fs.getConf(),
SequenceFile.Reader.file(new Path(imageIdx.getFileName())), optlen);
reader.seek(imageIdx.getStartPos());
IntWritable key = new IntWritable();
Text value = new Text();
while (reader.next(key, value)) {
fileutil.FileWriter("D://image3//"+System.currentTimeMillis()+".jpg", value.getBytes());
}
reader.close();
}
标签：write htable ++ gets hdfs 内容 result jpg init
原文地址：http://www.cnblogs.com/niubingru/p/7204850.html
