?所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、 ...
分类：
其他好文 时间：
2020-06-26 01:29:48
阅读次数：
95
就是线性代数的初等行变化： 倍加。 倍乘。 交换行。 #include <bits/stdc++.h> #define mp make_pair #define pb push_back using namespace std; typedef long long ll; typedef pair< ...
分类：
其他好文 时间：
2020-06-25 21:24:54
阅读次数：
60
HDFS是什么：一种分布式文件管理系统 HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改 高容错性：当副本丢失时，自动增加副本 数据规模：GB，TB，PB 文件规模：百万 不适合快速访问 不适合大量的小文件：无法高效存储，会占用大量的namenode内存，寻址时间会大于读取时间 不 ...
分类：
其他好文 时间：
2020-06-24 19:30:01
阅读次数：
45
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
分类：
其他好文 时间：
2020-06-22 19:15:45
阅读次数：
50
常规软件无法在规定时间内处理完成的数据 bit Byte KB MB GB TB PB EB ZB YB BB NB DB ...
分类：
其他好文 时间：
2020-06-21 21:41:47
阅读次数：
41
参考开源项目：年龄_性别识别 1.识别效果如下图 2.keras模型转pb模型，方便模型的迁移和rknn平台的使用，代码1如下： from keras.models import load_model import tensorflow as tf import os import os.path ...
分类：
其他好文 时间：
2020-06-16 15:02:05
阅读次数：
124
#include <bits/stdc++.h> #define mp make_pair #define pb push_back using namespace std; typedef pair<int, int> pii; typedef long long ll; typedef unsi ...
分类：
其他好文 时间：
2020-06-15 23:21:00
阅读次数：
80
给定一个[0,n-1]排列p，每次询问(i,j)返回pi|pj,最多4269次询问，推出这个排列 本题关键在于确定0的位置 一个结论：我们可以通过两次询问，从三个数中排除掉一个肯定不是0的数 因此：我们维护住两个值下标a,b,并且假设0在pa,pb这两个数中出现 初始时a=0,b=1,然后枚举c=[ ...
分类：
其他好文 时间：
2020-06-15 22:42:45
阅读次数：
75
概述 定义 HDFS是一个分布式文件管理系统 优缺点 优点 （1）高容错 多副本提高容错、某个副本丢失可以自动恢复 （2）适合处理大数据 ? 能处理PB级别数据、能处理百万的文件数据量 （3）可构建在廉价机器上 缺点 （1）不适合低时延数据访问 （2）无法高效存储小文件 （3）不支持并发写入和文件修 ...
分类：
其他好文 时间：
2020-06-14 20:26:42
阅读次数：
58
#pragma GCC optimize(2) #include<bits/stdc++.h> #define ll long long #define maxn 1000005 #define inf 1e9 #define pb push_back #define rep(i,a,b) for( ...
分类：
其他好文 时间：
2020-06-12 21:47:58
阅读次数：
79
