[toc] 1 HDFS概述 在大数据时代，大数据处理需要解决的首要问题是：如何高效地存储所产生的规模庞大的数据？由于传统集中式的物理服务器在存储容量和数据传输速度等方面都有限制，故而越来越不符合这些数据的实际存储需要。 所以为了实现对大数据的存储，就需要利用成百上千台甚至更多的分布式服务器节点（由 ...
分类：
其他好文 时间：
2019-01-25 21:03:56
阅读次数：
286
一、Spark概述 spark官网：spark.apache.org Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce（MR）与spark的对比： 1.MR在计算中产生的结果存储在磁盘上，s ...
分类：
其他好文 时间：
2019-01-13 00:18:41
阅读次数：
204
学习资料下载地址：http://www.edawiki.com 开篇体会; Xilinx的ZYNQ系列FPGA是二种看上去对立面的思想的融合，ARM处理器的串行执行+FPGA的并行执行，着力于解决大数据处理、人工智能等复杂高性能算法处理。 新的设计工具的推出，vivado HLS，更加注重嵌入式系统 ...
分类：
其他好文 时间：
2019-01-10 19:32:48
阅读次数：
204
我们在上一篇文章中给大家介绍了批处理系统以及迭代计算系统。这两种方法都是比较抽象的，我们在这篇文章中给大家介绍一种Facebook经常使用的流式计算系统，希望这篇文章能够给大家带来帮助。 ...
分类：
其他好文 时间：
2019-01-04 14:45:25
阅读次数：
412
大数据的出现使得数据的处理效率提高不少，这得益于大数据的数据处理系统，而大数据的处理系统有很多。就目前而言，主要的大数据处理系统有数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。下面我们就给大家介绍一下数据查询分析计算系统。 ...
分类：
其他好文 时间：
2019-01-04 14:33:51
阅读次数：
565
我们在前面的文章中给大家介绍了数据查询分析计算系统，数据查询分析计算系统是一个比较常见的系统，其实除了这一个数据查询分析计算系统还有很多系。我们在这篇文章中给大家介绍一下批处理系统和迭代计算系统，希望这篇文章能够给大家带来帮助。 ...
分类：
其他好文 时间：
2019-01-04 14:31:19
阅读次数：
242
为什么我要在2018年学习Python？ 根据维基百科的解释，"Python是一种广泛使用的高级编程语言，由吉多·范罗苏姆创造，第一版发布于 1991 年。Python 的设计哲学强调了代码的可读性和简洁的语法。" 随着大数据，人工智能的兴起，越来越多的人也开始研究起这门语言。 主要语言的增长趋势 ...
分类：
编程语言 时间：
2018-12-29 13:36:00
阅读次数：
185
NVR的发展目前看主要分为二大类，一类是接入级的嵌入式NVR，其主要针对主流的IP摄像机研发的一种NVR。 另一类是针对社区和平安城市级的大型NVR，其主要采用的是以高端服务器软、硬件结构为基础，以传统的NVR软件操作界面为前提，结合以往的磁盘阵列中的数据保护，具有强大数据处理功能的大型NVR系统设 ...
分类：
其他好文 时间：
2018-12-27 20:20:01
阅读次数：
176
一、概述 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发，但开发其应用可以使用多种语言，C，C++，跨平台性非常好。 两大核心：解决了分布式存储和分布式处理两大问题 Hadoop 2.0 （Apache免费开源，企业版可 ...
分类：
其他好文 时间：
2018-12-26 00:29:57
阅读次数：
232
一、大数据是什么?大数据，bigdata，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求欢迎加入大数据交流群：658558542一起吹水交流学习二、大数据的处理流程下图是数据处理流程：欢迎加入大数据交流群：658558542一起吹水交流学习
分类：
其他好文 时间：
2018-12-25 00:57:24
阅读次数：
231
