Flink概述 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 Flink特点 1)随处部署应用与其它组件集成！flink是分布式系统，需要计算资源才可执行程序。flink可以与常见 ...
分类：
其他好文 时间：
2018-12-30 21:58:18
阅读次数：
329
一、概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。 二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop ...
分类：
其他好文 时间：
2018-12-29 21:13:40
阅读次数：
139
一、概述 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发，但开发其应用可以使用多种语言，C，C++，跨平台性非常好。 两大核心：解决了分布式存储和分布式处理两大问题 Hadoop 2.0 （Apache免费开源，企业版可 ...
分类：
其他好文 时间：
2018-12-26 00:29:57
阅读次数：
232
对文件进行词频统计，是一个大数据领域的hello word级别的应用，来看下实现有多简单： 1 Linux单机处理 egrep -o "\b[[:alpha:]]+\b" test_word.log|sort|uniq -c|sort -rn|head -10 2 Spark分布式处理（Scala） ...
分类：
其他好文 时间：
2018-12-13 19:30:31
阅读次数：
132
Flink视频教程_基于Flink流处理的动态实时电商实时分析系统课程分享地址链接:https://pan.baidu.com/s/1cX7O-45y6yUPT4B-ACfliA密码:jqmk在开始学习前给大家说下什么是Flink？1.Flink是一个针对流数据和批数据的分布式处理引擎，主要用Java代码实现。2.ApacheFlink作为Apache的顶级项目，Flink集众多优点于一身，包括快
分类：
其他好文 时间：
2018-12-07 13:01:22
阅读次数：
238
1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS（分布式文件系统） B). YARN（运算资源调度系统） C). M ...
分类：
其他好文 时间：
2018-11-04 19:42:26
阅读次数：
145
RMI(Remote Method Invocation)是JAVA早期版本(JDK 1.1)提供的分布式应用解决方案，它作为重要的API被广泛的应用在EJB中。随着互联网应用的发展，分布式处理任务也随之复杂起 来，WebService也得到普遍的推广和应用。 在某些方面，例如跨语言平台的分布式应用 ...
分类：
编程语言 时间：
2018-10-29 18:29:13
阅读次数：
184
商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。对比版选择：DKhadoop发行版、cloudera发行版、hortonworks发行版、MAPR发行版、华为hadoop发行版Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apa
分类：
其他好文 时间：
2018-10-19 19:22:58
阅读次数：
118
最近学习了关于使用MySql数据的实现主动结构的原理，在以前的并发访问低的场景一下，一般一台性能高的服务器作为一个MySql数据，就可以满足业务的增删改查场景，但是随着网络用户的增加 当出现高并发，高QPS的情况下，一台MySql就很难支撑这种场景了，根据现在的分布式处理架构，处理在使用Redis这 ...
分类：
数据库 时间：
2018-09-02 02:03:10
阅读次数：
160
Apache Hadoop 是一种通过服务集群并使用MapReduce编程数据模型完成大数据的分布式处理框架，核心模块包括：MapReduce，Hadoop Utilites，YARN（Yet Another Resource Negotiator）和HDFS（Hadoop Distributed ...
分类：
其他好文 时间：
2018-08-19 16:59:50
阅读次数：
143
