/usr/local/bin sudo nano .hosts<!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjExNjYtMTU0NjkzMjc0NzY4MCIsImJsb2NrVHlwZSI6ImNvZGUiLCJzdHlsZX ...
分类：
其他好文 时间：
2019-01-08 21:14:54
阅读次数：
186
是一个并行计算框架（计算的数据源比较广泛 HDFS、RDBMS、NoSQL），Hadoop的 MR模块充分利用了HDFS中所有数据节点（datanode）所在机器的内存、CUP以及少量磁盘完成对大数据集的分布式计算。MapReduce将计算分为两个阶段： 1. 通过将一个大的计算任务分割成若干个小任 ...
分类：
其他好文 时间：
2019-01-04 21:59:10
阅读次数：
207
2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 ...
分类：
其他好文 时间：
2019-01-01 17:54:05
阅读次数：
278
Spark2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）全套课程下载：https://pan.baidu.com/s/1mje6bAoLLPrxUIrM-C2VMg提取码:9n1x本门课程来源于一线生产项目，所有代码都是在现网大数据集群上稳定运行，拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景，通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Ka
分类：
其他好文 时间：
2018-12-18 12:13:36
阅读次数：
370
本篇文章就概念、工作机制、数据备份、优势与不足4个方面详细介绍了Apache Kylin。 Apache Kylin 简介 1. Apache kylin 是一个开源的海量数据分布式预处理引擎。它通过 ANSI-SQL 接口，提供基于 hadoop 的超大数据集（TB-PB 级）的多维分析（OLAP ...
分类：
Web程序 时间：
2018-12-17 14:31:17
阅读次数：
218
1、HDFS是做什么的 Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS，hdfs是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用
分类：
其他好文 时间：
2018-12-11 18:19:33
阅读次数：
204
第4章 开发MapReduce程序 4.1 使用非Java语言操作Hadoop 4.1.1 Hadoop Streaming工作原理 4.1.2 使用Hadoop Streaming的原因 4.2 实践环节：使用Streaming实现Word-Count 4.3 分析大数据集 4.3.1 获取UFO... ...
分类：
其他好文 时间：
2018-11-23 16:48:06
阅读次数：
170
从大规模数据集中寻找物品间的隐含关系被称作关联分析(association analysis)或者关联规则学习(association rule learning)。 优点：简单 缺点：对大数据集比较慢 使用数据类型：数值型或者标称型 一、相关定义： 频繁项集：经常出现在一起的物品集合 关联规则：两 ...
分类：
编程语言 时间：
2018-11-22 20:55:07
阅读次数：
192
最近整理了一份关于Java自学的学习路线图、书籍推荐、视频教程，希望帮助每一位想学习Java的小伙伴快速成长为Java开发工程师。 ...
分类：
编程语言 时间：
2018-11-20 19:38:08
阅读次数：
145
不多说，直接上干货！ 解决办法1： 地址：http://stackoverflow.com/questions/38423925/ambari-confirm-hosts-step-fails-registration-with-the-server-failed 说明：中文和英文操作系统版本问题， ...
分类：
其他好文 时间：
2018-11-10 22:38:52
阅读次数：
1468
