1.概念 1.1什么是hadoop？ hadoop 是大数据存储和处理的框架，主要组成为文件存储系统hdfs和分布式计算框架mapreduce。 1.2能做什么，擅长做什么，不擅长做什么？ 1.2.1能做什么，如何做？ hadoop 支持处理TB，PB级别的文件。举个栗子：如100M的文件，过滤出含 ...
分类：
其他好文 时间：
2018-06-09 16:40:43
阅读次数：
190
1 Redis介绍 1.1 什么是NoSql 为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库 NoSql（Not only Sql）非关系型数据库，它可以作为关系型数据库的良好补充。 1.2 NoSql数据库的分类 》 键值(Key-Value)存储数据 ...
分类：
其他好文 时间：
2018-06-08 00:53:18
阅读次数：
170
一 HBaes 介绍 1.1 HBase 的起源 HBase 的原型是 Google 的 BigTable 论文，受到了该论文思想的启发，目前作为 Hadoop 的子项目来开发维护，用于支持结构化的数据存储。 Apache HBase?是Hadoop数据库，这是一个分布式，可扩展的大数据存储。 当您 ...
分类：
数据库 时间：
2018-06-05 00:41:53
阅读次数：
2144
FastDFS介绍 FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、 ...
分类：
其他好文 时间：
2018-05-28 19:47:50
阅读次数：
198
摘 要： Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加，可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能；依据切片键索引分片，位于各切片独立进行计算，使大数据下的实时分析成为现实。对于高频访问的数据放在了R ...
分类：
数据库 时间：
2018-05-16 11:03:59
阅读次数：
221
Hadoop 系列（一）基本概念 一、Hadoop 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。 从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 H ...
分类：
其他好文 时间：
2018-05-12 13:15:11
阅读次数：
183
一、java数据类型种类 1. java共用4类8种数据类型 2. 数据类型的取值范围 byte：8位，最大存储数据量是255，存放的数据范围是-128~127之间。 short：16位，最大数据存储量是65536，数据范围是-32768~32767之间。 int：32位，最大数据存储容量是2的32 ...
分类：
编程语言 时间：
2018-05-11 20:38:46
阅读次数：
247
MongoDB是一款NoSql数据库。NoSql数据库叫非关系型数据库，NoSql的全名Not only sql。是为了解决高并发、高可用、高可扩展，以及大数据存储等一系列问题而产生的数据库解决方案。NoSql，它不能替代关系型数据库，只能作为关系型数据库的一个良好补充。 NoSql数据库又分为多种 ...
分类：
数据库 时间：
2018-04-29 01:13:21
阅读次数：
193
1、Redis介绍1.1、什么是NoSql 为了解决高并发、可扩展用大数据存储问题而产生的库方案，就是NoSql数据库。 NoSQL泛指非关系型的数据库，NoSQL即Not-OnlySQL，它可以作为关系型数据库的良好补充。1.2、kv存储数据库键值(Key-Value)存储数据库相关产品：相关产品：TokyoCabinet/Tyrant、Redis、V
分类：
其他好文 时间：
2018-04-19 00:33:26
阅读次数：
186
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学 ...
分类：
其他好文 时间：
2018-04-17 11:31:17
阅读次数：
153
