所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是 无法在较短时间内迅速解决 ，要么是数据太大，导致 无法一次性装入内存 。 处理海量数据的基本方法： 1. 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； 2. 双层桶划分 3. ...
分类：
其他好文 时间：
2019-08-12 01:05:24
阅读次数：
104
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
概述 目前大数据存储有两种方案可供选择：行存储（Row-Based）和列存储（Column-Based）。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数... ...
分类：
其他好文 时间：
2019-08-07 17:39:20
阅读次数：
143
接到朋友求助，说自己一个数据库里的某个表有大量重复数据，使用mysql语句处理的速度太慢，每次只能处理1W条数据，总共800W条数据需要处理，耗时耗力。分开处理也会有大量的遗漏数据需要二次三次处理，最后得到的数据还是会不准确，很显然用mysql语句处理不怎么好。我想到了python中有一个模块pandas是专门用来处理海量数据的，马上网上查下该模块是否有相关的方法，果然，pandas里的drop_
分类：
数据库 时间：
2019-06-11 16:22:07
阅读次数：
160
一、什么是计算机？ 计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，海菊有存储记忆功能。是能够按照程序运行，自动、告诉处理海量数据的现代化智能电子设备。 相关解释如下： 程序自动化：可以将预先编好的程序纳入计算机内存，在程序控制下，计算 ...
分类：
其他好文 时间：
2019-05-12 19:50:53
阅读次数：
152
大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架，都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架。Java语言是王道就是这个道理，Java的核心代码是开源的，是经过全球能人牛人共同学习共同研发共同检验的，所以说Java是最经得住检验的语言，而且任何人都可以学
分类：
其他好文 时间：
2019-05-09 15:19:17
阅读次数：
139
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 传统的数据处理技术已经无法胜任，需要催生新的技术。一套用来处理海量数据的软件工具应运而生，这就是大数据！ ...
分类：
其他好文 时间：
2019-04-27 14:46:32
阅读次数：
171
适合范围：storm自由开源的分布式实时计算系统，擅长处理海量数据。适合处理实时数据而不是批处理。 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper.apache.org/,点击download进入新页面之后， >download，选择一个镜像文件 ...
一、题目：用户喜好 为了不断优化推荐效果，今日头条每天要存储和处理海量数据。假设有这样一种场景：我们对用户按照它们的注册时间先后来标号，对于一类文章，每个用户都有不同的喜好值，我们会想知道某一段时间内注册的用户（标号相连的一批用户）中，有多少用户对这类文章喜好值为k。因为一些特殊的原因，不会出现一个 ...
分类：
编程语言 时间：
2019-02-02 12:57:04
阅读次数：
209
简介 BigTable是一个分布式的结构化数据存储系统，设计用来处理海量数据，通常在数千台服务器，PB级的数据 BigTable是一个稀疏的，分布式的，持久化存储的多维度排序 Map Map的索引(key)为：行关键字，列关键字，时间戳。 Map的每个value都是未经解析的byte数组。 (row ...
分类：
其他好文 时间：
2019-01-31 21:33:48
阅读次数：
283
