前言： 关联规则是数据挖掘中最活跃的研究方法之一， 是指搜索业务系统中的所有细节或事务，找出所有能把一 组事件或数据项与另一组事件或数据项联系起来的规则，以获 得存在于数据库中的不为人知的或不能确定的信息，它侧重于确 定数据中不同领域之间的联系，也是在无指导学习系统中挖掘本地模式的最普通形式。 一般 ...
分类：
编程语言 时间：
2019-11-19 16:56:32
阅读次数：
346
Spark3.0 preview预览版可以下载使用，地址：https://archive.apache.org/dist/spark/spark-3.0.0-preview/，pom.xml也可以进行引用，如下： 注意：目前阿里云镜像部分包还没有（2019年11月10日，spark-launcher ...
分类：
其他好文 时间：
2019-11-10 09:25:19
阅读次数：
163
Spark SQL 增加了DataFrame 即带有Schema信息的RDD DataFrame 创建 启动pyspark（由于内存不够 启动本地，模式） pyspark --master local pyspark 自动生成 sc，sparksession from pyspark import ...
分类：
数据库 时间：
2019-11-09 22:07:07
阅读次数：
95
1.简介EureKa在Spring Cloud全家桶中担任着服务的注册与发现的落地实现。Netflix在设计EureKa时遵循着AP原则，它基于R EST的服务，用于定位服务，以实现云端中间层服务发现和故障转移，功能类似于Dubbo的注册中心Zookeeper。 2.实现原理 EureKa采用C-S ...
分类：
其他好文 时间：
2019-11-08 12:42:45
阅读次数：
162
1、首先我们编写完类打成jar包提交到集群上，然后用spark-submit提交任务。提交任务可以分为集群和本地模式（集群：spark-submit --master spark：//master：7077 --class 全类名 jar包路径 需要的参数）（本地：spark-submit --cl ...
分类：
其他好文 时间：
2019-10-27 12:54:30
阅读次数：
86
异地备份系统的备份指令rsyncRsync的四种工作模式:1.列表模式和ls-l相似，负责列出源的内容。不仅可以看本地还可以看远端2.shell模式，也称为本地模式和cp相似，本地拷贝文件rsync[option]SRCDEST-v:显示详细过程-q:静默模式-c:强制对传输的文件进行校验-r:递归复制-p:保存文件的权限-t:保留文件的时间戳-l:保留文件的符号链接-g:保留文件的属组-o:保留
分类：
其他好文 时间：
2019-10-16 15:01:31
阅读次数：
110
本地运行模式： 集群运行模式： 总结： mapreduce的运行模式 概念：所谓的运行模式指的是由谁给mr程序提供运算时候所需要的硬件资源 两种模式： 集群模式：程序计算的资源由yarn分配 分布式计算的效果 生产环境线上环境的模型 本地模式：程序计算的资源由程序所在的机器本地系统模拟出 单机计算的 ...
分类：
其他好文 时间：
2019-09-14 20:54:02
阅读次数：
87
1Fetch抓取Fectch抓取是指对某些情况下的查询不必使用MapReduce计算将hive.fetch.task.conversion设置成more，在全局查找、字段查找、limit查找等都不走MapReduce2本地模式多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的，不过，有时Hive的输入数据量是非常小的，在这种情况下，为查询触发执行任务消耗的时间可能会比实
分类：
其他好文 时间：
2019-09-13 17:21:44
阅读次数：
105
安装步骤 上传gz包 通过rz命令，将zookeeper 3.4.10.tar.gz安装包上传到/opt/soft/文件夹下。 解压包 通过tar命令解压zookeeper到/opt/module/目录下。 新建zkData目录 在zookeeper的解压目录下新建zkData文件夹，用于数据文件目 ...
分类：
其他好文 时间：
2019-09-02 14:09:01
阅读次数：
128
1、npm install moduleNames：安装Node模块安装完毕后会产生一个node_modules目录，其目录下就是安装的各个node模块。node的安装分为全局模式和本地模式。一般情况下会以本地模式运行，包会被安装到和你的应用程序代码的本地node_modules目录下。在全局模式下 ...
分类：
Web程序 时间：
2019-09-01 23:39:26
阅读次数：
120
