一、IP去重示例 数据文件： 192.168.10.111 192.168.10.111 10.32.100.111 192.168.21.111 192.168.10.112 192.168.10.111 192.168.11.111 192.168.12.112 192.168.11.111 I ...
分类：
移动开发 时间：
2020-04-16 00:26:29
阅读次数：
112
windows环境变量增加一项HADOOP_USER_NAME，值为你的Linux用户名。 ...
在Windows操作系统中使用eclipse本地运行hadoop的hdfs程序, FileSystem local = FileSystem.getLocal(conf); 使用 FSDataOutputStream out = local.create(localFile); 创建本地文件输出流时 ...
Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境 有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考 下面是 ...
1.hadoop对hdfs集群的管理提供两种脚本 hadoop-daemons.sh 本地启动脚本：对集群中的单个节点操作 start-dfs.sh 集群启动脚本：对集群中所有节点统一操作 2.SSH免密登录（防止集群登录超时） ①生成公私钥 1 ssh-keygen -t rsa 在用户目录下有个 ...
分类：
其他好文 时间：
2020-04-15 13:41:34
阅读次数：
66
ZooKeeper是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 ZooKeeper是一个树形结构的目录服务，支持变更推送 在ZooKeeper中，节点分为两 ...
分类：
编程语言 时间：
2020-04-15 13:38:24
阅读次数：
150
1、创建helloword.txt输入3行内容。 2、在系统中打开hadoop start-dfs.sh start-yarn.sh 3、把本地计算机中的计算机中的helloword.txt上传到服务器中 4、创建目录/user/root/filetest hdfs dfs -mkdir p /us ...
分类：
Web程序 时间：
2020-04-14 22:59:30
阅读次数：
100
在我们的工作中，很多时候都需要在linux中后台运行程序，方法1：nohup&方法2：daemonizeUnix系统后台守护进程管理软件优点：更加正规后台运?更稳定gitclonegit://github.com/bmc/daemonize.gitshconfigure&&make&&sudomakeinstall[root@dev-hadoop-test0
分类：
系统相关 时间：
2020-04-13 00:49:22
阅读次数：
195
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
