架构层面优化：
l 分表
l 合理利用中间结果集，避免查过就丢的资源浪费，减低Hadoop的IO负载
l 常用复杂或低效函数尽量不用或拆分成其他实现方式，如count(distinct)
l 合理设计表分区，静态分区和动态分区
l 优化时一定要把握整体，单个作业最优不如整个作业最优。
l 文件存储格式和压缩方式
l Hadoop本身的优化
l 有些逻辑，使用系统函数...
分类：
其他好文 时间：
2016-05-24 12:10:40
阅读次数：
3837
数据储存 已知的数据存储方式 1,文件存储 2,sharedPerference 3,数据库 数据库sqlite: 开源项目,由C实现,嵌入式的数据库,支持事务的数据库ios,windos都是采用的sqlite数据,轻量级的数据库,使用起来很方便 参考文件的创建:创建一个file引用,通过输出流向文 ...
分类：
移动开发 时间：
2016-05-24 00:13:57
阅读次数：
245
1，下载mongodb，mongodb-linux-x86_64-2.4.9.tgz。解压缩，更名为mongodb。 2，mongodb类似于绿色软件，直接复制到相应目录下即可使用。剪切到/usr/local/webserver。 3，创建data文件夹存储数据库数据，创建logs文件，存储mong ...
分类：
数据库 时间：
2016-05-22 18:04:20
阅读次数：
234
相比传统数据库的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作，尤其是在数据列很多，但每次操作仅针对若干列进行查询和计算的情景，列式存储引擎的性价比更高。
目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。
本文将重点讲解ORC文件存储格式，Parquet暂不深入说明，后续抽时间整理。...
分类：
其他好文 时间：
2016-05-22 12:25:37
阅读次数：
230
目标文件内包含指令代码、数据和链接环节所需要的一些信息，如符号表、调试信息、字符串表等。一般目标文件将这些信息按不同的属性分类，以“段”的形式存储。本文将在Linux环境下，用bjdump、readelf工具查看目标文件存储的具体形式，可得目标文件中由C语言编译后执行语句放在..
分类：
其他好文 时间：
2016-05-22 00:56:42
阅读次数：
152
FastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间FastDFS..
分类：
其他好文 时间：
2016-05-21 00:08:45
阅读次数：
262
在Android官方指出的Android的数据存储方式总共有五种，分别是：Shared
Preferences、网络存储、文件存储、外储存储、SQLite。但是我们知道一般这些存储都只是在单独的一个应用程序之中达到一个数据的共享，有时候我们需要操作其他应用程序的一些数据，例如我们需要操作系统里的媒体库、通讯录等，这时我们就可能通过ContentProvider来满足我们的需求了。采用文件方式对...
分类：
移动开发 时间：
2016-05-20 19:44:42
阅读次数：
291
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。MongoDB是一款分布式文档数据库，支持类似关型数据库的主从结构，文档以二进制Json形式存储，无锁，无事务，有索引。1. MongoDB的启动与停止 MongoDB的启动之前已经 ...
分类：
数据库 时间：
2016-05-20 16:00:01
阅读次数：
231
