Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类:
其他好文 时间:
2014-06-18 06:54:00
阅读次数:
286
spark1.0.0 集群 Standalone Applications scala sbt
分类:
其他好文 时间:
2014-06-12 11:09:33
阅读次数:
343
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可。系统版本:master:Ubuntu
12....
分类:
其他好文 时间:
2014-06-10 22:01:07
阅读次数:
423
系统版本:master:Ubuntu 14.04 salve1:Ubuntu
14.04hadoop: hadoop
2.2.01、系统配置以及安装SSH无密码登陆环境(master&slaves):修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件sudo
...
分类:
其他好文 时间:
2014-06-08 07:32:54
阅读次数:
310
这篇文章介绍的是简单的配置Hadoop集群的方法,适合实验和小型项目用,正式运行的集群需要用更正规的方法和更详细的参数配置,不适合使用这篇文章。安装
JDK在终端输入$ java -version如果有反应,说明已安装过jdk。如果显示的信息里出现了类似OpenJDK的字样,如java versio...
分类:
其他好文 时间:
2014-06-07 02:53:11
阅读次数:
336
首先说下MySQL的优缺点优点解决单点故障自动实现数据冗余缺点就是维护起来太麻烦。集群的条件就是所有的机器上都要安装MySQL的集群软件,我安装的是MySQL-Cluster-gpl-7.3.5-1.el6.x86_64.rpm的rpm包,不是源码包安装。如果系统里面安装了mysql-server等数据库服务软件的要自行..
分类:
数据库 时间:
2014-05-13 12:02:34
阅读次数:
403
nginx+apache+php+mysql服务器集群搭建由于需要搭建了一个基本的服务器集群。具体的配置方案先不说了,到有时间的时候再介绍。下面介绍下整个方案的优点。我总共准备了四台阿里云的主机,架设分别是A,B1,B2,C,A在集群的最前面,B1和B2在A的后面,C在最后面。A主要用的nginx,...
分类:
数据库 时间:
2014-05-05 12:01:43
阅读次数:
407
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476