hadoop2.6.4 jdk1.8 spark2.0.1 方案1： 在spark的conf目录下，修改spark-env.sh文件加入LD_LIBRARY_PATH环境变量，值为hadoop的native库的路径 方案2： 在 /etc/profile 设置一下 export LD_LIBRARY ...
分类：
其他好文 时间：
2016-10-20 14:43:43
阅读次数：
314
上传数据文件 mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt hadoop fs -mkdir -p /datafile/wangxiao/ hadoop fs -ls / hadoop fs -put /home/wangxiao/data ...
分类：
编程语言 时间：
2016-10-15 21:43:22
阅读次数：
213
hadoop fs -put /home/wangxiao/data/ml/Affairs.csv /datafile/wangxiao/ hadoop fs -ls -R /datafile drwxr-xr-x - wangxiao supergroup 0 2016-10-15 10:46 / ...
分类：
其他好文 时间：
2016-10-15 13:56:27
阅读次数：
169
Spark安装指南 该文档是建立在已经安装好hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。 2 安装Scala 解压安装包：tar -zxvf scala-2.11.8.tgz，可以解压到/ ...
分类：
其他好文 时间：
2016-09-13 19:16:48
阅读次数：
125
决策树种类差别
Spark2.0 MLLib中决策树代码分析，参数选取，剪枝
分类：
其他好文 时间：
2016-08-28 18:17:10
阅读次数：
1145
在spark2中的shell使用python3 spark2.0.0中的python默认使用python2，可以通过以下两种方式之一使用python3： PYSPARK_PYTHON=python3 ./bin/pyspark 修改~/.profile，增加 PYSPARK_PYTHON=pytho ...
分类：
编程语言 时间：
2016-08-14 12:51:39
阅读次数：
401
写在前面的话：由于spark2.0.0之后ML中才包括LDA,GaussianMixture 模型，这里k-means用的是ML模块做测试，LDA,GaussianMixture 则用的是MLlib模块 数据资料下载网站，大力推荐！！！ http://archive.ics.uci.edu/ml/d ...
分类：
其他好文 时间：
2016-08-08 19:28:44
阅读次数：
252
本文带大家一起进行Spark的大数据之旅。本文的内容主要分为两个部分：一是Spark的背景介绍，二是介绍Spark的基础。...
分类：
其他好文 时间：
2016-07-08 13:51:43
阅读次数：
173
ssh-keygen -t rsa 全部回车 生成密钥默认放在了/root/.shh中 打开它 cd /root/.ssh cp id_rsa.pub authorized_keys 免密码登录 现在只是本机免密码，接下来要集群之间免密码 ssh-copy-id -i spark2（机器hostna ...
分类：
系统相关 时间：
2016-07-03 00:28:10
阅读次数：
216
