Kafka的概念： 1、 AMQP协议 1、 AMQP协议 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)：是一个标准开放的应用层的消息中间件（Me ...
分类：
其他好文 时间：
2017-07-16 15:51:57
阅读次数：
218
一、Hadoop1.0的模型： |split0->map-[sort]->[1,3..] |/merge |==>reducer-->part0 =>HDFSreplicationsplit1->map-[sort]->[2,6..] |————————————— |==>reducre--->part1 =>HDFSreplicationsplit2->map-[sort]->[..
分类：
其他好文 时间：
2017-07-03 15:10:28
阅读次数：
219
机器部署： 准备两台机以上linux服务器，安装好JDK，zookeeper，hadoop spark部署 master：hadoop1，hadoop2(备用) worker：hadoop2，hadoop3，hadoop4 软件准备 spark下载网址：http://spark.apache.org ...
分类：
其他好文 时间：
2017-06-19 20:15:08
阅读次数：
200
mac上安装hadoop1,mac下的javall/usr/bin|grep‘java‘默认:/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java具体的安装路径:/Library/Java/JavaVirtualMachines/下面，JAVA_HOME是/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home。2,..
分类：
系统相关 时间：
2017-06-18 20:03:42
阅读次数：
339
一、单节点的安装 1.伪分布式的安装 1.1 改动ip (1)打开VMWare或者VirtualBox的虚拟网卡 (2)在VMWare或者VirtualBox设置网络连接方式为host-only (3)在linux中，改动ip。有上角的图标，右键，选择Edit Connections.... *** ...
分类：
其他好文 时间：
2017-06-07 10:03:25
阅读次数：
235
部署安装了最新稳定版hadoop2.2.0。然后在网上找来fuse-dfs编译教程。可是最后失败了。至今原因未知～～，错误描写叙述为：Transport endpoint is not connected。后将安装部署hadoop1.2.1版本号。最后測试成功，记录例如以下： 使用root完毕一下操 ...
分类：
其他好文 时间：
2017-05-21 11:43:46
阅读次数：
320
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNam ...
分类：
其他好文 时间：
2017-05-21 10:46:46
阅读次数：
381
1.环境：ubuntu、hadoop2.7.3 2.在Ubuntu下创建hadoop用户组和用户 ① 添加hadoop用户到系统用户 ② 现在只是添加了一个用户hadoop，它并不具备管理员权限，我们给hadoop用户添加权限，打开/etc/sudoers文件 命令：sudo vi /etc/sud ...
分类：
系统相关 时间：
2017-05-07 15:38:18
阅读次数：
198
环境：ubuntu13 使用的用户为普通用户。如：用户ru jdk安装略 1、安装ssh (1) Java代码 sudo apt-get install openssh-server Java代码 Java代码 (2)配置ssh面密码登录 Xml代码 $ ssh-keygen -t dsa -P ' ...
分类：
其他好文 时间：
2017-05-07 14:03:05
阅读次数：
169
数据库的分类：关系型数据库、非关系型数据库。这跟数据库的发展相关。关系型数据库：mysql、oracle、sqlserver非关系型数据库：redis、memcathe、mogodb、hadoop1、JDBC api层：程序员针对api层开发程序，告诉程序要链接到哪里，使用什么驱动接口层：java针 ...
分类：
数据库 时间：
2017-04-29 14:19:14
阅读次数：
203
