一、hdfs的设计目标 1.1、硬件错误是常态而不是异常。Hadoop的设计理念之一就是它可以运行在廉价的普通PC机上，因而硬件故障是常态。在硬件故障时，可通过容错机制保证数据的正确性、完整性，从而保证系统的正常运行。 1.2、大文件存储。hdfs存储的文件大小一般在GB~TB的级别。 1.3、流式 ...
分类：
其他好文 时间：
2016-08-23 01:13:13
阅读次数：
189
一、什么是mongoDB? 1、MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 2、MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 3、MongoDB 将数据存储为一个文档，数据结构由键值( ...
分类：
数据库 时间：
2016-08-22 21:22:31
阅读次数：
173
mongodb数据库是一个分布式文件存储数据库，由C++编写，在众多特点中有一个比较重要，就是可以使用高效的二进制存储数据，也就是说视频、图片文本都可以使用mongodb进行存储。在公司的实际项目中欲构建一个文档存储服务器，用以存储文件和图片。 过去JavaEE项目的图片要么是存储到应用所在服务器的 ...
分类：
数据库 时间：
2016-08-22 20:09:12
阅读次数：
213
前言之前一直考虑更换impala的文件存储格式为parquet，但是没有立即使用，最近又做了一些测试，看看parquet是否真的有用。在测试的时候顺便测了一下compute语句的效果，一起作为参考。下面抽出一个小业务的部分测试结果来展示。测试准备库名和表名当然不是真的。测试范围：
文件格式：parquet和text
compute语句的影响
测试用表：
表名
行数
字段数
物理存储大...
分类：
其他好文 时间：
2016-08-21 12:33:53
阅读次数：
211
一、HBASE概述 Hadoop Database NoSQL 面向列 提供实时更新查询 。。。。 是一个高可靠性 高性能 面向列 可伸缩的分布式存储系统 利用hbase技术可以在廉价的PC上搭建起大规模结构化存储集群。 HBase利用HadoopHDFS作为其文件存储系统，利用Hadoop的Map ...
分类：
其他好文 时间：
2016-08-21 00:38:10
阅读次数：
107
一：简单介绍 FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（s ...
分类：
Web程序 时间：
2016-08-19 20:35:43
阅读次数：
211
FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage） ...
分类：
Web程序 时间：
2016-08-18 13:01:45
阅读次数：
217
今天才认识到原来JPEG文件有两种保存方式，分别是Baseline JPEG（标准型）和Progressive JPEG（渐进式）。两种格式有相同尺寸以及图像数据，扩展名也是相同的，唯一的区别是二者显示的方式不同。Baseline JPEG这种类型的JPEG文件存储方式是按从上到下的扫描方式，把每一行顺序的保存在JPEG文件中。打开这个文件显示它的内容时，数据将按照存储时的顺序从上到下一行一行的被显...
分类：
其他好文 时间：
2016-08-17 12:23:23
阅读次数：
132
把图片文件放入当前文件
package chapter15;
import java.awt.Graphics;
import java.awt.*;
import javax.swing.ImageIcon;
import javax.swing.JFrame;
import javax.swing.JPanel;
@SuppressWarnings("serial")
public c...
分类：
系统相关 时间：
2016-08-12 18:27:37
阅读次数：
215
故障描述：以前上传图片以及文件是通过nginx的配置来上传和下载图片，文件存储用的是Hadoop作为文件存储，昨晚上仿真的过程中，上传图片过程中无法连接Hadoop，发现问题很多：处理完连接报错后，还是不能上传图片，各种报错。。。。处理思路：一般的故障信息都是日志来入手的。..
分类：
其他好文 时间：
2016-08-11 23:22:41
阅读次数：
172
