数据库架构设计 参考 数据库之互联网常用架构方案 数据库架构原则 架构核心的核心-数据库设计原则（金融行业） 海量数据存储--分库分表策略详解 ...
分类：
数据库 时间：
2019-09-09 19:21:52
阅读次数：
119
一、Hadoop的局限 HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。 要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法 ...
分类：
其他好文 时间：
2019-08-24 09:48:31
阅读次数：
65
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
2.1 Hadoop概论 创始人：Doug Cutting 1.简介： 开源免费; 操作简单，极大降低使用的复杂性; Hadoop是Java开发的; 在Hadoop上开发应用支持多种编程语言、不限于Java； Hadoop两大核心：HDFS+MapReduce HDFS：海量数据存储 MapRedu ...
分类：
其他好文 时间：
2019-06-08 17:33:27
阅读次数：
104
FastDFS 集群部署 官网https://github.com/happyfish100 FastDFS是一款开源的高性能分布式文件系统（DFS）。主要功能：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB ...
分类：
其他好文 时间：
2019-05-27 13:14:47
阅读次数：
123
运维中关键技术点解剖：1 大量高并发网站的设计方案 ；2 高可靠、高可伸缩性网络架构设计；3 网站安全问题，如何避免被黑？4 南北互联问题,动态CDN解决方案；5 海量数据存储架构 一、什么是大型网站运维？ 首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对 ...
分类：
其他好文 时间：
2019-05-09 17:17:08
阅读次数：
115
1、hadoop 工作原理： a.首先 概括里面的角色（HDFS 、Mapreduce） b.讲解各个角色的整体架构 HDFS： 概念： 分布式文件系统，用于海量数据存储。 架构： master/slave 架构 ：1个Namenode和多个Ddatanode。 工作原理： Namenode：(项目 ...
分类：
其他好文 时间：
2019-04-05 21:32:15
阅读次数：
205
MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Memcached也 ...
分类：
其他好文 时间：
2019-03-08 09:41:05
阅读次数：
198
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
