1 最直接的方式 scala> val jdbcDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://hadoop1:3306/rdd") mysql 接口和库名 .option("dbtable", "rddtable") 两张表名 ...
分类：
数据库 时间：
2019-10-09 19:24:25
阅读次数：
126
1.hadoop1.x和hadoop2.x区别 2.组件介绍 HDFS架构概述1)NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.2)DataNode(dn): 在本地文件系统存储文件块数 ...
分类：
其他好文 时间：
2019-09-13 15:50:23
阅读次数：
112
一、服务器配置 1、查看服务器、客户端操作系统版本 2、查看服务器是否安装ntp，系统默认安装ntpdate； 3、安装ntp ntpdate，其中ntpdate默认安装，可以只安装ntp； 4、查看ntp服务器状态，两条命令效果一样 或 6、修改配置文件，使该NTP服务器在不联网的情况下，使用本服 ...
分类：
其他好文 时间：
2019-08-15 12:33:14
阅读次数：
281
1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行； 原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。 <property> <name>fs.defaultFS ...
分类：
系统相关 时间：
2019-08-13 22:41:36
阅读次数：
162
首先创建4台虚拟机，规划如下 接下来关闭防火墙和selinux，可以在每台服务器上运行如下命令 更改每台主机主机名 ...
分类：
其他好文 时间：
2019-07-31 11:13:23
阅读次数：
90
学大数据需要什么编程基础？大数据学习步骤是什么？大数据是什么?有很多朋友问过我，大数据到底是什么？一句话来…学大数据需要什么编程基础？大数据学习步骤是什么？学大数据需要什么编程基础？大数据学习步骤是什么？大数据是什么?有很多朋友问过我，大数据到底是什么？一句话来概括针对非软件行业的朋友根据你平时在超市，加油站，饭店等地方的一些消费行为，通过大数据这个技术，我们可以知道你现在的年龄范围，是否婚配，是
分类：
其他好文 时间：
2019-07-21 01:01:45
阅读次数：
92
1.Hadoop a.概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构 b.组成：Hadoop = HDFS (文件系统) + Mapreduce (数据处理) 2.安装 a.配置Java运行环境 b.从官网下载 Hadoop 并解压，地址：http://hadoop.apac ...
分类：
其他好文 时间：
2019-07-05 10:57:52
阅读次数：
106
1.前提环境关掉防火墙 2.绑定/etc/hosts 3.部署ansible (git clone git@github.com:heheping0312/ansible.git) yum -y install ansible [root@nn01 test]# pwd/root/test [roo ...
分类：
其他好文 时间：
2019-07-03 19:54:41
阅读次数：
113
一、前置准备1. 基础信息1.1 机器机器名服务hadoop1主节点hadoop2data、taskhadoop3data、task1.2 服务版本服务版本cdh5.15.2cm5.15.2jdk1.82. 创建hadoop用户不直接建议使用root用户，所以此处新建 hadoop用户2.1 添加用... ...
分类：
其他好文 时间：
2019-06-20 18:45:07
阅读次数：
624
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr ...
分类：
其他好文 时间：
2019-05-14 18:57:19
阅读次数：
196
