MapReduce原理 背景 因为如果要对海量数据进行计算，计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出主要用于搜索领域，解决海量数据的计算问题。 适 ...
分类：
其他好文 时间：
2020-04-05 00:49:37
阅读次数：
74
摘要 物联网技术的快速发展和云服务的推动使得云计算模型已经不能很好的解决现在的问题，于是，这里给出一种新型的计算模型，边缘计算。边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性和私密性。这篇文章会通过一些案例来介绍边缘计算的相关概念， ...
分类：
其他好文 时间：
2020-03-30 21:34:34
阅读次数：
68
机器学习可分为：有监督（Supervised Learning）、无监督（Unsupervised Learning）、强化学习(Reinforcement Learning) 1. 有监督学习：数据集包含样本 x 与标签 y ，训练时，通过计算模型的预测值与真实标签 y 之间的误差来优化网络参数 ...
分类：
其他好文 时间：
2020-03-05 13:54:23
阅读次数：
72
1、集群是个物理形态，分布式是个工作方式 只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，嗯，C/S架构也可以叫分布式。 2、集群一般是物理集中、统一管理的，而分布式系统则不强调这一点 所以，集群可能运行着一个或多个分布 ...
分类：
其他好文 时间：
2020-03-05 13:09:53
阅读次数：
65
spark为什么比mapreduce快 mapreduce的数据处理过程是：把数据从磁盘读到内存，在内存中完成计算，再写回磁盘。下一个mr程序要继续对这批数据进行处理，又要重复这一过程。有多少个mr程序，就有多少次读磁盘和写磁盘的过程，效率低下。 spark的数据处理过程是：把数据读到内存之后，在多 ...
分类：
其他好文 时间：
2020-02-25 13:05:09
阅读次数：
66
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
（一）HDFS简介及其基本概念 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HD ...
分类：
其他好文 时间：
2020-02-15 18:47:15
阅读次数：
65
导读： 第一节：基础架构 1：编程模型 2：架构 3：数据传输 4：高可靠性 5：高维护性 6：数据处理方式 7：对比MR，SPARK 第二节：计算模型 1：spout 2：bolt 3：stream grouping 4：构建拓扑与提交 第三节：架构 第四节：部署 第五节：数据处理 1：同步计算 ...
分类：
其他好文 时间：
2020-01-09 20:56:24
阅读次数：
117
最近在学习计算理论方面的内容，这一系列文章主要介绍λ演算，这需要一些基本的离散数学如集合的知识，写的过程难免有错误欢迎大家指出。 1. 什么是λ演算 (Lambda Calculus)？ λ演算是数学家邱奇（Alonzo Church）在20世纪30年代发表的一种计算模型，以变量绑定和替换的规则，每 ...
分类：
其他好文 时间：
2020-01-06 10:07:03
阅读次数：
116
编程范式的分类也有很多种，除了上面的分类，还有结构化、非结构化等分类。我想最主要的分类还是按照model of computation（计算模型）来分,一般而言有四类范式： https://www.xuebuyuan.com/1062696.html 基于Turing Machine（图灵机）的Im ...
分类：
其他好文 时间：
2020-01-01 20:36:03
阅读次数：
102
