在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或 ...
分类：
其他好文 时间：
2020-05-10 22:47:20
阅读次数：
125
Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。H ...
分类：
其他好文 时间：
2020-05-09 23:07:57
阅读次数：
222
规划：nn1.hadoop nn2.hadoop s1.hadoop s2.hadoop ZK： nn1 nn2 s1journalnode: nn1 nn2 s1DataNode: nn1 nn2 s1 s2NodeManager: nn1 nn2 s1 s2NameNode: nn1 nn2Re ...
分类：
系统相关 时间：
2020-05-09 21:12:33
阅读次数：
83
一、概述 TDH使用方式和CDH有很大不同，需要先下载客户端，然后source其中的init.sh文件，使之生效，然后才能使用hdfs命令。 二、步骤 1、进入到管理界面，然后下载客户端 2、建立一个个人目录 mkdir /home/demo 然后将下载的客户端放入该目录中，解压客户端文件 sour ...
分类：
其他好文 时间：
2020-05-08 20:14:03
阅读次数：
247
Kafka基于Zookeeper协调的分布式日志系统，可以当做MQ。主要就是做：日志收集系统、消息系统。还有就是用于用户活动跟踪：记录web用户或者app用户的各种活动，相信大家都感受到了吧。上篇我们已经提到，消息系统的两种传递模式：点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列，适合企业级的开发，同时实现了Broker构架，
分类：
其他好文 时间：
2020-05-08 09:42:36
阅读次数：
66
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 ...
分类：
其他好文 时间：
2020-05-07 22:58:36
阅读次数：
83
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
1.将下载的hadoop的jar包解压到自己想要存放的目录下，然后再hadoop的根目录下复制它的完整路径 2.配置环境变量，创建一个系统变量“HADOOP_HOME”，变量值就是hadoop的路径 3.将这个变量添加到Path变量中： 4.保存后退出 5.打开cmd命令行窗口，输出命令“hadoo ...
这是来自知乎的问题，是一个大二学生问的，说老师在讲课时说，从工资来看，后端开发要比前端高，并且说，掌握公司核心技术的都是后端。他问事实是否真的如此，然后问该如何规划自己的工作。 这里整理的是个匿名答案，答主应该是在网易工作过，后来去了阿里。答案很有参考意义，特此整理出来（原回答的大小写有部分错误，未 ...
分类：
其他好文 时间：
2020-05-05 20:03:21
阅读次数：
102
