主要包括以下三部分，本文为第一部分： 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 因Spark任务大多由Scala编写，因此，首先需要准备Scala环境。 注：楼主实验环境为mac os Scala环境准备 1. 下载 " ...
分类：
其他好文 时间：
2018-07-15 19:47:05
阅读次数：
464
提交消费kafka应用里面包含sasl.jaas.config，通常需要配置文件。但是打成jar包后的应用，通过classload读不到jar包中配置文件。需要初始化kafka时增加properties属性。kafkaParams.put("sasl.jaas.config", "xxxx required\n"+
分类：
其他好文 时间：
2018-06-28 20:22:39
阅读次数：
461
Apache Spark 一个很快多用途的集群计算系统。提供了很多语言API ：Java, Scala, Python and R，还支持很多高级的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX 用于图形处理和Spark Streaming. 总的说：Sp ...
分类：
其他好文 时间：
2018-06-27 18:52:36
阅读次数：
229
由于需要用到很多第三方的包，比如numpy，pandas等，而生产环境又无法上网单个包安装太麻烦，因此考虑把之前安装的python的独立环境换成Anaconda的集成开发环境。以下是具体步骤：1安装Anaconda3-5.0.1-Linux-x86_64.sh脚本2给/opt/modules/anaconda3/bin/python3.6建立软链接ln-s/opt/modules/anaconda
分类：
编程语言 时间：
2018-06-14 20:39:34
阅读次数：
175
前言 1.操作系统为Centos7 2.所有操作都是使用root用户去操作。也可以使用其他用户，非root的话要注意操作的权限问题。 3.安装的Hadoop版本是2.6.5，Spark版本是2.2.0，Scala的版本是2.11.8。因为我安装的Spark要同Hadoop搭配工作，所以需要注意他们之 ...
分类：
系统相关 时间：
2018-06-09 14:40:26
阅读次数：
238
Hadoop 问题1： Hadoop Slave节点 NodeManager 无法启动 解决方法： yarn-site.xml reducer取数据的方式是mapreduce_shuffle 问题2： 启动hadoop，报错Error JAVA_HOME is not set and could n ...
分类：
其他好文 时间：
2018-06-07 14:27:52
阅读次数：
183
最近在做一个人群标签的项目，也就是根据客户的一些交易行为自动给客户打标签，而这些标签更有利于我们做商品推荐，目前打上标签的数据已达5亿+， 用户量大概1亿+，项目需求就是根据各种组合条件寻找标签和人群信息。 举个例子： 集合A： ( 购买过“牙膏“的人交易金额在10-500元并且交易次数在5次的客户 ...
分类：
其他好文 时间：
2018-05-29 17:11:15
阅读次数：
277
近年来，机器学习和深度学习不断被炒热，tensorflow 作为谷歌发布的数值计算和神经网络的新框架也获得了诸多关注，spark和tensorflow深度学习框架的结合，使得tensorflow在现有的spark集群上就可以进行深度学习，而不需要为深度学习设置单独的集群，为了深入了解spark遇上t ...
分类：
其他好文 时间：
2018-04-16 23:57:33
阅读次数：
235
export JAVA_HOME=/usr/java/jdk1.8.0_11 export SPARK_MASTER_IP=hadoop1 export SPARK_MASTER_HOST=hadoop1 export SPARK_MASTER_PORT=7077 export SPARK_WORK ...
分类：
其他好文 时间：
2018-04-11 18:08:49
阅读次数：
133
1、将下载的hanlp-portable-1.6.2.jar复制到集群spark/jar文件夹下面 2、启动spark集群 spark/bin/spark-shell --executor-memory 6g --driver-memory 1g --executor-cores 2 --num-e ...
分类：
其他好文 时间：
2018-04-06 12:31:07
阅读次数：
161
