需要学习和掌握的知识 1. 后端 1.1 服务器 1.1.1 linux命令 1.1.2 nginx 1.1.3 jetty 1.1.4 docker 1.1.5 ElasticSearch 1.2 大数据框架 1.2.1 hadoop 1.2.2 Yarn 1.2.3 flume 1.2.4 St... ...
分类：
其他好文 时间：
2016-07-06 21:43:57
阅读次数：
141
今天在公司做了一个hadoop分享，包括mapreduce，及shuffle深度讲解，还有YARN框架的详细说明等。 一 引言 1、海量日志数据，提取出某日访问百度次数最多的那个IP 算法思想：分而治之+Hash 1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理； 2.可以考 ...
分类：
其他好文 时间：
2016-07-05 22:10:33
阅读次数：
462
hadoop---------------------1、可靠、可伸缩、分布式的计算框架，开源软件四大模块1、common hadoop0-common2、hdfs3、mapreduce4、yarn---------------------完全分布式：1、hdfs NameNode DataNode secondaryNode 启动脚本：start-all.sh(start-dfs.sh)2、Yarn ResourceMana..
分类：
其他好文 时间：
2016-07-03 15:59:54
阅读次数：
145
hdfs可视化界面： http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview yarn可视化界面： http://beifeng-hadoop-01:8088/cluster -- hdfs $ sbin/hadoop-daemon.sh ...
分类：
其他好文 时间：
2016-07-03 10:21:58
阅读次数：
222
HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
've got big RDD(1gb) in yarn cluster. On local machine, which use this cluster I have only 512 mb. I'd like to iterate over values in RDD on my local ...
分类：
系统相关 时间：
2016-06-30 21:43:33
阅读次数：
588
Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S ...
分类：
其他好文 时间：
2016-06-30 21:42:01
阅读次数：
193
转：https://gist.github.com/wuchong/95630f80966d07d7453b#file-hbasenewapi-scala http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ ...
分类：
其他好文 时间：
2016-06-30 21:26:19
阅读次数：
159
纯属云平台管理学习菜鸟的笔记，参照许多大牛的博客，如有侵权，请联系，立刻删除。
Abstract1) tight coupling of a specific programming model with the re- source management infrastructure, forcing developers to abuse the MapReduce programming...
分类：
Web程序 时间：
2016-06-29 11:15:58
阅读次数：
218
一、Hadoop HA的Web页面访问 Hadoop开启HA后，会同时存在两个Master组件提供服务，其中正在使用的组件称为Active，另一个作为备份称为Standby，例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name ...
分类：
其他好文 时间：
2016-06-28 00:39:46
阅读次数：
359
