原文链接：https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述，yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类：
其他好文 时间：
2021-04-26 13:47:48
阅读次数：
0
HBase客户端开发API 建立连接 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org. ...
分类：
编程语言 时间：
2021-04-26 13:29:32
阅读次数：
0
默认dev环境schema 是不cache，所以会每次执行，生成环境是必须cach的，但是cache就有schemaversion 的问题 所以基于cache-manager 包装了一个cache处理的，代码很简单，但是可以提高对于schemaversion的时间消耗 参考包装代码 schemave ...
分类：
Web程序 时间：
2021-04-26 13:13:33
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类：
其他好文 时间：
2021-04-21 12:09:16
阅读次数：
0
在配置好OpenGL开发库的环境下，在main.cpp文件中运行如下代码，从而学习。 配置方法：https://www.cnblogs.com/cchHers/p/14674397.html #include "GLShaderManager.h" //着色器管理器（shader manager）类 ...
分类：
其他好文 时间：
2021-04-21 11:55:44
阅读次数：
0
在微服务架构中，服务之间的依赖是很常见的事情。在开发过程中都是并行开发的，前端会依赖后端的接口，后端也有可能会依赖其他后端服务的接口。 项目整体提测后是没有问题的，因为大家都开发完了，也会同时部署到测试环境中。但是在开发过程中需要进行单测，单测的时候会依赖其他的服务，这个时候就需要解决这个依赖问题。 ...
分类：
其他好文 时间：
2021-04-20 15:36:49
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
