1. Hadoop 概览Google 三篇论文（GFS -> HDFS，Map-Reduce -> MR，BigTable -> HBase）是 Hadoop 的思想之源。Hadoop 生态非常庞大，其最初两大核心是 HDFS 和 MR，分别负责存储和计算（Hadoop 1.x 中，MR 既负责计算 ...
一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类：
其他好文 时间：
2021-06-08 22:45:15
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
想在linux环境下打开一个网页，环境描述：在窗口模式下，打Terminal，然后从本地服务器ssh到了另一个服务器，想执行firefox命令打开一个网页，如下 [root@pc207 ~]# firefox http://www.a.com Error: no display specified ...
分类：
Web程序 时间：
2021-06-07 20:34:32
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
配置环境:gerrit 192.168.1.100gitlab 192.168.1.1011.创建秘钥 [root@gerrit ~]# ssh-keygen -m PEM -t rsa 2.添加hosts 解析 [root@gerrit ~]#echo "192.168.1.101 gitlab" ...
分类：
其他好文 时间：
2021-06-06 19:34:13
阅读次数：
0
HDFS客户端环境准备 1．根据拷贝编译后的hadoop jar包到非中文路径 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类：
其他好文 时间：
2021-06-06 19:12:37
阅读次数：
0
SSH框架整合 步骤一、导入所需要的jar包Hibernate Struts2 Spring：基础包:4+2 测试 整合web项目 aop JDBC 步骤二、Spring整合Struts2 1、在web.xml里配置struts2 2、在struts.xml里配置struts2 '3、在web.xm ...
分类：
其他好文 时间：
2021-06-06 19:09:53
阅读次数：
0
部署服务器(nginx+mysql+javaJdk) 使用密钥登陆服务器 先生成密匙并存储到本地。 找到您下载的私钥所在目录，如：/root/xxx.pem。 说明 xxx.pem即为您的私钥文件，下同。 使用以下命令修改私钥文件的属性：chmod 400 xxx.pem。 使用SSH命令连接至实例 ...
分类：
数据库 时间：
2021-06-06 18:59:40
阅读次数：
0
官网注册git账号 下载git客户端 下载的比较快不传百度云了，一路安装默认配置即可 配置git git bash here进入git控制台 配置用户名 git config --global user.name "zyn" 配置作者邮箱 git config --global user.email ...
分类：
其他好文 时间：
2021-06-06 18:50:15
阅读次数：
0
