什么是表分区？ 表分区分为水平表分区和垂直表分区，水平表分区就是将一个具有大量数据的表，进行拆分为具有相同表结构的若干个表；而垂直表分区就是把一个拥有多个字段的表，根据需要进行拆分列，然后根据某一个字段进行关联。 表分区分为以下五个步骤： 1、创建文件组 2、创建数据文件 3、创建分区函数 4、创建 ...
分类：
数据库 时间：
2018-10-19 21:55:12
阅读次数：
178
商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。对比版选择：DKhadoop发行版、cloudera发行版、hortonworks发行版、MAPR发行版、华为hadoop发行版Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apa
分类：
其他好文 时间：
2018-10-19 19:22:58
阅读次数：
118
一、CS和BS含义：CS即Client/Server(客户机/服务器)结构。C/S结构在技术上很成熟，它的主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、利于处理大量数据。但是该结构的程序是针对性开发，变更不够灵活，维护和管理的难度较大。通常只局限于小型局域网，不利于扩展。并且，由 ...
分类：
其他好文 时间：
2018-10-19 14:15:16
阅读次数：
121
zookeeper介绍 是一个分布式服务的协调服务，集群半数以上可用（一般配置为奇数台）， 快速选举机制：当集群中leader挂掉，所有小弟会投票选举出新的leader。 快速同步数据：zk将会存储小量用于服务做协调的数据。 标准文件系统用于存储大量数据；而zk存储小量协调数据 标准文件系统文件就是 ...
分类：
其他好文 时间：
2018-10-18 20:18:40
阅读次数：
187
TCP UDP 是否连接 面向连接 面向非连接 传输可靠性 可靠 不可靠 应用场合 传输大量数据 少量数据 速度 慢 快 参考https://blog.csdn.net/xiaobangkuaipao/article/details/76793702 ...
分类：
其他好文 时间：
2018-10-18 17:01:48
阅读次数：
147
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于
分类：
其他好文 时间：
2018-10-18 16:57:12
阅读次数：
137
有时候做实验测试数据用到大量数据时可以用以下方法插入： 方法一：使用xmltable create table bqh8 as select rownum as id from xmltable('1 to 10000000');select count(*) from bqh8; 一千万条数据已插 ...
分类：
其他好文 时间：
2018-10-17 00:02:19
阅读次数：
241
前言 我们在开发项目中经常会遇到一种问题，就是在前端页面跳转时传递某些参数，通常我们是通过路由传递的，但是如果数据量很多的情况下，会造成路由非常的长，如果在大的话甚至会超出地址栏URL的最大限度，这就狗带了．最近手头上一个项目的前端刚好遇到这个问题，该项目前端用的是vue2.x．不是什么大问题，但是 ...
分类：
其他好文 时间：
2018-10-10 23:55:42
阅读次数：
151
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhado ...
分类：
其他好文 时间：
2018-10-09 14:26:12
阅读次数：
167
很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。 哪一个适合对大量数据进行处理？哪一个又适合对实时的流数据进行处理？又该如何来区分他们呢？ 我对比整理了这3个计算框架的基本知识，大家可以了解一下以便对这个3个计算框架有一 ...
分类：
其他好文 时间：
2018-10-09 12:44:53
阅读次数：
186
