Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP Memcached 视频教程 大数据 高性能 集群 NoSQL 安装 命令 使用
分类：
数据库 时间：
2016-02-28 18:34:11
阅读次数：
195
使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的MapReduce来构建大规模索引，Spark具有更灵活的api操作，性能更高，语法更简洁等一系列优点。 先看下，整体的拓扑图： 然后，再来看下，使用scala写的spark程序： J
分类：
其他好文 时间：
2016-02-01 15:31:49
阅读次数：
197
Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。 使用hadoop CLASSNAM之前，你需要设置HADOOP_CLASSPATH. Java代码 export HADOOP
分类：
其他好文 时间：
2016-01-27 22:59:25
阅读次数：
147
一、准备条件：1.四台Linux虚拟机(1台NameNode节点，1台Secondary节点（Secondary和其中1台DataNode共用），外加2台DataNode)2.下载Hadoop版本，本例使用Hadoop-2.5.2版本二、安装Java JDK最好安装，JDK 1.7 因为JDK 1....
分类：
其他好文 时间：
2016-01-22 21:45:16
阅读次数：
189
近期为了分析国内航空旅游业常见安全漏洞，想到了用大数据来分析，其实数据也不大，只是生产项目没有使用Hadoop，因此这里实际使用一次。先看一下通过hadoop分析后的结果吧，最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下：第一次正式使用Hadoop，肯定会遇到非常多的...
日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改，需要重启生效， 或者是进程自己因某种致命原因终止， 或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动， 或者是增删节点过程中的需要， 进程的关闭与启动，使用 hadoop-daemon.sh start|stop d...
分类：
其他好文 时间：
2016-01-19 09:03:19
阅读次数：
719
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"...
分类：
移动开发 时间：
2016-01-05 09:49:49
阅读次数：
305
初次接触Hadoop，了解了Hadoop安装包的目录结构，和大家分享下：bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。etc：Hadoop配置文件所在的目录，包括core-site,xml、hdf.....
分类：
其他好文 时间：
2015-12-23 07:05:10
阅读次数：
125
本例记录spark源码编译的过程及问题因为编译会有很多很多莫名其妙的错误，为了方便，使用hadoop的cdh版本，注意版本要和我的一致，环境：maven3.0.5 scala2.10.4 下载地址：http://www.scala-la...
分类：
其他好文 时间：
2015-12-15 20:50:49
阅读次数：
167
