研究大数据和数据挖掘的都知道，并行化算法研究是大数据领域一个较为重要的研究热点。近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。Spark 提供了大量的库，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 开发者可以 ...
分类：
其他好文 时间：
2019-04-20 09:58:04
阅读次数：
139
跟着视频学习使用Fiddler，视频地址 http://www.imooc.com/learn/37 第1章 Fiddler工具简介 Fiddler工作环境 Fiddler工作原理 通过修改浏览器的代理服务器地址，Fiddler截获所有浏览器发出的请求。 代理模式： 1. 流模式（streaming ...
分类：
其他好文 时间：
2017-11-15 21:56:39
阅读次数：
126
一.shell脚本中的相关配置 -input : 指定作业的输入文件的HDFS路径, 支持使用*通配符, 支持指定多个文件或目录, 可多次使用 -output : 指定作业的输出文件的HDFS路径, 输出目录不能存在, 执行作业的用户必须有创建该目录的权限, 只能使用一次 -mapper : 自己写 ...
分类：
其他好文 时间：
2017-09-03 14:15:05
阅读次数：
174
spark streaming 开发实例 本文将分以下几部分 spark 开发环境配置 创建spark项目 编写streaming代码示例 调试 环境配置： spark 原生语言是scala， 我用的是spark-1.4.1-bin-hadoop2.6，可以查阅官方说明，用的是scala-2.10. ...
分类：
其他好文 时间：
2016-10-12 20:01:21
阅读次数：
376
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-29 17:43:01
阅读次数：
230
一、Java方式开发1、开发前准备：假定您以搭建好了Spark集群。2、开发环境采用eclipsemaven工程，需要添加SparkStreaming依赖。3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因..
分类：
编程语言 时间：
2016-04-28 12:31:33
阅读次数：
238
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-26 19:41:05
阅读次数：
202
一、Java方式开发 1、开发前准备：假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必 ...
分类：
编程语言 时间：
2016-04-26 00:37:50
阅读次数：
253
