参考链接：https://www.cnblogs.com/fanBlog/p/10936190.html 什么是负载均衡？ 1.什么是负载均衡 Load balancing，即负载均衡，是一种计算机技术，用来在多个计算机（计算机集群）、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最优化资 ...
分类：
其他好文 时间：
2019-12-22 10:38:47
阅读次数：
88
基本概念： Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。RDD：是spark核心数据处理模型，弹性分布式数据集(Resilient Distributed Dataset)是分布式内存的一 ...
分类：
其他好文 时间：
2019-11-26 16:12:00
阅读次数：
95
一、简介 1、分布式文件系统钢结构 分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类： 主节点（MasterNode）或者名称节点（NameNode） 从节点（Slave Node）或者数据节点（DataNode） 2、HDFS能够带来什么好处 兼容廉价的硬件设备 流数据读写 大数据集 ...
分类：
其他好文 时间：
2019-11-15 12:07:41
阅读次数：
209
HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
分布式技术因其高性能、高可用、高扩展等特点，成为 AI、区块链、云计算、大数据等众多技术的基石，也因其普适性，在经济性裁员的大背景下，仍然成为各公司中间件团队、实验室等基础部门大规模争抢的人才重地。 与火热的需求相比，优秀的分布式技术人才极度短缺。分布式技术概念繁多、知识庞杂、新兴技术层出不穷，令许 ...
分类：
编程语言 时间：
2019-10-18 15:42:57
阅读次数：
114
负载平衡（Load balancing）是一种计算机技术，用来在多个计算机（计算机集群）、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。 使用带有负载平衡的多个服务器组件，取代单一的组件，可以通过冗余提高可靠性。负载平衡服务 ...
分类：
其他好文 时间：
2019-09-22 19:27:37
阅读次数：
131
Bigdata： 结构化数据：有严格约束 半结构化数据： 非结构化数据：没有元数据 搜索引擎：搜索组件+索引组件（存放数据 由蜘蛛程序爬取而来） 2003年 Google发表第一篇论文 The Google File System 解决大量数据存储 GFS文件系统 系统阐述了采取商业计算机集群就是普 ...
分类：
其他好文 时间：
2019-08-17 19:49:38
阅读次数：
99
13.1无监督学习：简介 将没有标签的样本分成不同的集合（簇），这种算法叫做聚类。常用的领域有市场分割、社交网络分析、计算机集群管理、了解星系等。 13.2K-均值算法 （1）K-均值是最普及的聚类算法，是一种迭代算法，假设需要将数据聚类成n个组，这时候首先随机选择K个点，称为聚类中心。 将每个样本 ...
分类：
其他好文 时间：
2019-08-02 10:30:24
阅读次数：
87
nginx官网：http://nginx.org/ 一、 nginx和apache的区别 Nginx： 1、轻量级，采用 C 进行编写，同样的 web 服务，会占用更少的内存及资源。 2、抗并发，nginx 以 epoll and kqueue 作为开发模型，处理请求是异步非阻塞的，负载能力比 ap ...
分类：
系统相关 时间：
2019-08-01 17:29:40
阅读次数：
180
大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。(3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。(4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分
分类：
其他好文 时间：
2019-06-05 12:40:06
阅读次数：
121
