第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
并发编程-ThreadLocal&ForkJoinPool（使用以及原理分析） 本章只要聊聊两个东西，这里会给出如何使用他们，并且分析各自的源码以及原理。 【ThreadLocal】：在指定线程中存储数据，数据存储后只有指定线程可以获得 【ForkJoinpool】：实际上他类似于【hadoop】他 ...
分类：
其他好文 时间：
2021-06-28 18:58:16
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
集群时间同步 **如果服务器在公网环境(能连接外网)，可以不采用集群时间同步。**因为服务器会定期和公网时间进行校准。 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准，其 ...
分类：
其他好文 时间：
2021-06-28 17:56:59
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考 ...
分类：
其他好文 时间：
2021-06-19 19:20:19
阅读次数：
0
