Hadoop介绍和HDFS 目的：排序、找最小值、数据去重，统计很多文件中的各个单词的格式 1.处理大数据。php调用开发好的.jar文件（Hadoop程序）调用Hadoop的namenode调用DataNode 2.保存重要文件。文件服务，保存上传的图片（原始文件多了怎么办？文件丢失怎么办） ...
分类：
其他好文 时间：
2017-11-21 01:13:39
阅读次数：
150
下载 "Hadoop" 解压并移动到/software目录： 在 文件添加： 保存并且更新/etc/profile文件： 。 编辑 文件： ，在最后加上： 修改Configuration文件： 修改hdfs site.xml： 修改mapred site.xml： 修改yarn site.xml： ...
分类：
其他好文 时间：
2017-11-18 17:35:12
阅读次数：
283
【伪分布式】 ①[core-site.xml] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property></configuration> ②[mapred-sit ...
分类：
其他好文 时间：
2017-11-13 19:48:29
阅读次数：
123
今天开发跑了hive任务报错：QueryID=gsadmin_20171113143046_07c2e5ee-c0e3-4624-8947-538e410bbc2bTotaljobs=1LaunchingJob1outof1Numberofreducetasksnotspecified.Estimatedfrominputdatasize:1009Inordertochangetheaverageloadforareducer(inbytes):sethive.exec.reducers..
分类：
编程语言 时间：
2017-11-13 18:15:38
阅读次数：
300
1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机 ...
分类：
其他好文 时间：
2017-11-05 17:29:37
阅读次数：
190
这个错误的原因是指定Hive中表字段之间使用的分隔符错误，供Sqoop读取解析不正确。如果是由hive执行mapreduce操作汇总的结果，默认的分隔符是 '\001'，否则如果是从HDFS文件导入的则分隔符则应该是'\t'。此处我是hive执行mapreduce分析汇总的结果，所以默认的分隔是'\ ...
分类：
数据库 时间：
2017-11-01 20:31:59
阅读次数：
283
关于大数据，一看就懂，一懂就懵。 一、简介 Hadoop的平台搭建，设置为三种搭建方式，第一种是“单节点安装”，这种安装方式最为简单，但是并没有展示出Hadoop的技术优势，适合初学者快速搭建；第二种是“伪分布式安装”，这种安装方式安装了Hadoop的核心组件，但是并没有真正展示出Hadoop的技术 ...
分类：
其他好文 时间：
2017-10-29 20:22:35
阅读次数：
224
环境 ubuntu hadoop2.8.1 java1.8 1.配置java1.8 2.配置ssh免密登录 3.hadoop配置 环境变量 配置hadoop环境文件hadoop-env.sh core-site.xml mapred-site.xml hdfs-site.xml yarn-site. ...
分类：
系统相关 时间：
2017-10-28 23:55:26
阅读次数：
273
前言 本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。 本文集群三个节点基于三台虚拟机进行搭建，节点安装的操作系统为Centos7（yum源），Hadoop版本选取为 ...
分类：
其他好文 时间：
2017-10-28 20:32:29
阅读次数：
262
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过 ...
分类：
Web程序 时间：
2017-10-25 19:42:27
阅读次数：
234
