1 #include 2 3 using namespace std; 4 5 #define MP make_pair 6 #define PB push_back 7 #define ls first 8 #define rs second 9 typedef long long LL; 10 ... ...
分类：
其他好文 时间：
2018-04-11 00:13:57
阅读次数：
154
Spark能做什么？Spark应用领域Spark是大数据技术中数据计算处理的王者，能够一次处理PB级的数据，分布在数千个协作的物理或虚拟服务器集群中，它有一套广泛的开发者库和API，并且支持Java，Python，R和Scala等语言，其灵活的特性，适合各种环境，以下是Spark最常见的两种应用场景：离线场景：可以以时间为维度，几年的数据集，或者以业务为维度，某个领域的大数据集等，这种数据我们一般
分类：
其他好文 时间：
2018-04-11 00:06:23
阅读次数：
215
Spark能做什么？Spark应用领域Spark是大数据技术中数据计算处理的王者，能够一次处理PB级的数据，分布在数千个协作的物理或虚拟服务器集群中，它有一套广泛的开发者库和API，并且支持Java，Python，R和Scala等语言，其灵活的特性，适合各种环境，以下是Spark最常见的两种应用场景：离线场景：可以以时间为维度，几年的数据集，或者以业务为维度，某个领域的大数据集等，这种数据我们一般
分类：
其他好文 时间：
2018-04-10 23:58:28
阅读次数：
358
1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和
分类：
其他好文 时间：
2018-04-08 14:30:56
阅读次数：
111
Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 ...
分类：
其他好文 时间：
2018-04-07 11:28:21
阅读次数：
136
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企
分类：
其他好文 时间：
2018-04-03 17:32:32
阅读次数：
105
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管
分类：
其他好文 时间：
2018-04-03 17:23:44
阅读次数：
143
caffe 找不到头文件的问题实例： /usr/local/include/caffe/blob.hpp:9:34: fatal error: caffe/proto/caffe.pb.h: No such file or directory #include "caffe/proto/caffe. ...
分类：
系统相关 时间：
2018-03-25 18:11:37
阅读次数：
1084
处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！1. Bloom filter Bloom filter是一种二进制向量数据结构，具有很好的空间效率和时间效率，可用来检测一个元素是否属于一个集合。该方法的优点是它的插入和查询时间都是常数
分类：
其他好文 时间：
2018-03-23 19:24:33
阅读次数：
226
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。1. 支持超大文件 HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据
分类：
其他好文 时间：
2018-03-23 19:24:19
阅读次数：
179
