maven插件自动生成mapper文件 @(目录) 第一步，新建maven plugin工程 idea 选择 file → new project → maven 后面一直next，注意maven plugin 工程的命名最好是 xxx-maven-plugin. 添加依赖 下面写maven插件必须 ...
分类：
移动开发 时间：
2021-04-09 12:55:36
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
1.main函数快捷键 psvm 2.system.out.printLn sout(相当于eclipse syso) 3.ctrl + alt + t == try catch,意识是surround with try catch, 但是如果要直接写可以"".try直接会提示 4.alt+inse ...
分类：
其他好文 时间：
2021-04-05 12:43:06
阅读次数：
0
上传脚本 apply plugin: 'maven' uploadArchives{ repositories.mavenDeployer{ // 本地仓库路径 repository(url:"file://C://Users/gang/.m2/repository/") // 唯一标识 包名 po ...
分类：
其他好文 时间：
2021-04-05 12:39:23
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
debug调试快捷键F9 resume programe 恢复程序Alt+F10 show execution point 显示执行断点F8 Step Over 相当于eclipse的f6 跳到下一步F7 Step Into 相当于eclipse的f5就是 进入到代码Alt+shift+F7 For ...
分类：
其他好文 时间：
2021-04-05 12:05:32
阅读次数：
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
NppExec是Notepad++的插件，功能强大，用他来配置notepad的python编辑环境，使用得心应手。一、安装在“插件’菜单下打开插件管理器(Plugin Manager)，在可以插件(Available)中找到NppExec，选择后点击下方的"Install"就可以了。安装完成后NPP ...
分类：
编程语言 时间：
2021-04-05 11:52:17
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
