创建实验数据: from pyspark import SparkContext import random OutputFile = "file:///usr/local/spark/mycode/exercise/people" sc = SparkContext('local','create ...
分类：
其他好文 时间：
2018-08-14 14:49:52
阅读次数：
192
这里面我们介绍一下spark的安装，并通过一个python的例子来简单的体会一下spark的使用。 spark的安装与使用 安装环境：mac 10.13.6，spark版本：2.3.1，python版本：3.6.5 一、在mac上面安装spark和pyspark，可以使用brew包管理器安装。直接运 ...
分类：
其他好文 时间：
2018-08-13 00:38:08
阅读次数：
218
特征处理相关的算法，大体分为以下三类： 特征抽取：从原始数据中抽取特征 特征转换：特征的维度、特征的转化、特征的修改 特征选取：从大规模特征集中选取一个子集 #导入相关的库 from pyspark.ml.feature import HashingTF,IDF,Tokenizer from pys ...
分类：
其他好文 时间：
2018-08-12 14:21:10
阅读次数：
550
1、下载如下放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。若成功执行。则成功设置环境变量找到pycharmsitepackage目录右键点击即可进入目录，将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark
分类：
编程语言 时间：
2018-08-09 18:29:29
阅读次数：
366
1.安装jkd1.8(这里不再描述) 2.直接在终端输入pip install pyspark(官网提供的最简单的一种安装方式) 过程如下: 安装完成后, 终端输入pyspark,启动pyspark出错...... 解决方法: 找到pyspark的安装路径 找到路径后,在load-spark-env ...
分类：
系统相关 时间：
2018-07-29 14:14:38
阅读次数：
999
利用python来操作spark的词频统计,现将过程分享如下: 1.新建项目:(这里是在已有的项目中创建的,可单独创建wordcount项目) ①新建txt文件: wordcount.txt (文件内容: 跟词频统计(一)中文件一致) ②创建py文件: word.py 打印结果: 2.如果词频统计的 ...
分类：
其他好文 时间：
2018-07-28 11:38:44
阅读次数：
149
一、windows 安装 1、下载spark spark-2.3.1-bin-hadoop2.7.tgz 2、配置spark 环境变量 set SPARK_HOME=d:\spark2.3.1 set PATH=%SPARK_HOME%\bin;%PATH% 3、安装python的pyspark模块... ...
1 首先在一台能上网的机器上得到python包 1） 新建一个空目录，如 /home/ubuntu/zcy/ss，用来存储下载下来的所需安装包 2）下载安装包：pip install --download /home/ubuntu/zcy/ss pyspark 2 离线安装 1）将/home/ubu ...
分类：
编程语言 时间：
2018-07-10 21:25:29
阅读次数：
232
1 cd /usr/local/spark/spark-2.3.1-bin-hadoop2.6 2 ./bin/pyspark 3 >>> textFile = spark.read.text("README.md")2018-07-10 09:03:16 WARN ObjectStore:568 ...
分类：
其他好文 时间：
2018-07-10 11:26:21
阅读次数：
151
使用pysparking的一个例子 http://docs.h2o.ai/h2o-tutorials/latest-stable/tutorials/sparkling-water/index.html 下载pysparkhttps://pypi.org/project/pyspark/ 下载spa ...
分类：
其他好文 时间：
2018-07-05 21:28:01
阅读次数：
139
