注：原文中的代码是在spark-shell中编写执行的，本人的是在eclipse中编写执行，所以结果输出形式可能会与这本书中的不太一样。首先将用户数据u.data读入SparkContext中，然后输出第一条数据看看效果，代码如下：val sc = new SparkContext("local", "ExtractFeatures")
val rawData = sc.textFile("F:\\...
分类：
系统相关 时间：
2015-08-14 13:54:09
阅读次数：
208
安装Spark后进的第一个网址，看你是否安装成功，查看sprak中worker的状态
http://sparkmaster:8080/
查看spark-shell状态
http://sparkmaster:4040/stages/
查看dfs(datanode)的状态
http://sparkmaster:50070
查看nodes的状态
...
分类：
Web程序 时间：
2015-08-07 19:46:45
阅读次数：
105
1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository，然后添加到dependency里面。最笨的创建repository的办法就是直接创建...
分类：
数据库 时间：
2015-07-14 17:02:48
阅读次数：
259
在spark_shell创建SQLContext导入对象后sqlContext时间，例如，下面的例外：找个理由sqlContext必须是val类型。后引入到正常的变化。 版权声明：本文博客原创文章，博客，未经同意，不得转载。 ...
分类：
数据库 时间：
2015-07-07 12:43:52
阅读次数：
281
在hadoop集群上搭好spark环境及体验spark shell之后可以重新做做官方的快速上手。运行独立程序（SimpleApp.py）：
首先编写程序（这里用Pytho的API）：
from pyspark import SparkContextlogFile = "README.md" #注意这里的文件是在hdfs中的
sc = SparkContext("local","Simp...
分类：
移动开发 时间：
2015-07-05 18:37:23
阅读次数：
218
下载了spark 1.4，运行spark-shell时遇到以下错误：
java.net.UnknownHostException: UKON-M-Q0EP: UKON-M-Q0EP: nodename nor servname provided, or not known
at java.net.InetAddress.getLocalHost(InetAddress.java:1...
分类：
系统相关 时间：
2015-07-04 09:39:28
阅读次数：
242
spark版本 1.3.1scala版本 2.11.6参考官网 http://spark.apache.org/docs/latest/mllib-clustering.html运行spark-shell后,首先导入需要的模块import org.apache.spark.mllib.cluster...
分类：
编程语言 时间：
2015-06-23 11:36:04
阅读次数：
123
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以..
分类：
Web程序 时间：
2015-05-28 18:21:38
阅读次数：
327
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
