mapred-default.xml： 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类：
其他好文 时间：
2020-07-10 15:35:12
阅读次数：
74
package com.sjw.flink import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkF ...
分类：
其他好文 时间：
2020-07-10 00:43:32
阅读次数：
74
package com.sjw.flink import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apach ...
分类：
其他好文 时间：
2020-07-10 00:36:15
阅读次数：
78
package com.sjw.flink import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}import org.apache.flink.streaming.api.functions.Keyed ...
分类：
其他好文 时间：
2020-07-10 00:31:17
阅读次数：
114
package com.sjw.flink import org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfO ...
分类：
其他好文 时间：
2020-07-10 00:16:33
阅读次数：
80
package com.sjw.flink import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._ object StremingWordCount { def ...
分类：
其他好文 时间：
2020-07-10 00:11:32
阅读次数：
56
package com.sjw.flink import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time object WindowTest { def m ...
分类：
其他好文 时间：
2020-07-09 23:59:55
阅读次数：
253
承接上一篇，NoSQL实验 MapReduce实验 如何在Eclipse中运行MapReduce程序，参考厦大数据库实验室博客 总体代码： package org.apache.hadoop.examples; import java.io.IOException; import java.util ...
分类：
其他好文 时间：
2020-07-09 15:08:03
阅读次数：
127
基于上一次运行成功查看输出文件没有结果的经历，这一次仔细理解了pso的MapReduce代码，发现自己之前的输入数据并不符合代码要求的格式，于是加以修改了。 根据此代码，输入数据应该是如下字段： 粒子编号、位置向量1、粒子速度1、个人最优位置1、全局最优位置1、位置向量2、粒子速度2、个人最优位置2 ...
分类：
其他好文 时间：
2020-07-08 19:30:59
阅读次数：
65
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类：
其他好文 时间：
2020-07-08 13:26:09
阅读次数：
59
