本周主要是制作了河北重大技术需求分析的数据录入板块，通过这个主要是练习了前端的制作，例如通过js以及json数据进行多级联动，还有一些特殊条件的查询等等。另外就是软件需求的分析，对于客户提出的要求我们作为软件的设计者以现有技术为根基来进行设计，设计出尽可能合理的系统，并针对其中的诸多细节与客户进行交 ...
分类：
其他好文 时间：
2020-11-12 13:30:08
阅读次数：
9
#!/bin/sh use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'` if [[ $use -gt 80 ]];then hdfs dfs -rm -r -skipTrash /user/admin/.flink fi; 先编写好she ...
分类：
系统相关 时间：
2020-11-08 16:52:29
阅读次数：
30
Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
1.词频统计 a.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类：
其他好文 时间：
2020-11-07 16:36:45
阅读次数：
33
1.下载喜欢的电子书或大量文本数据，并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:32:22
阅读次数：
17
1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:17:20
阅读次数：
18
将.txt格式文件插入Hbase中，代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap ...
分类：
其他好文 时间：
2020-11-06 02:49:19
阅读次数：
37
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.ut ...
分类：
其他好文 时间：
2020-11-06 01:37:17
阅读次数：
15
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类：
其他好文 时间：
2020-11-06 01:07:32
阅读次数：
22
环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase：apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false，需要设置为true ...
分类：
其他好文 时间：
2020-11-04 18:45:23
阅读次数：
16
