一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
写这篇文章之前，我参考了这篇帖子内容https://blog.csdn.net/Mr_Megamind/article/details/74048891 先来进行servlet服务器的搭建 这里我就实现简单的获取来自客户端的信息，并返回一些信息 直接上代码： package serverlet; i ...
分类：
移动开发 时间：
2020-02-29 20:48:45
阅读次数：
81
spark为什么比mapreduce快 mapreduce的数据处理过程是：把数据从磁盘读到内存，在内存中完成计算，再写回磁盘。下一个mr程序要继续对这批数据进行处理，又要重复这一过程。有多少个mr程序，就有多少次读磁盘和写磁盘的过程，效率低下。 spark的数据处理过程是：把数据读到内存之后，在多 ...
分类：
其他好文 时间：
2020-02-25 13:05:09
阅读次数：
66
生日蛋糕 7月17日是Mr.W的生日，ACM-THU为此要制作一个体积为 Nπ 的 M 层生日蛋糕，每层都是一个圆柱体。 设从下往上数第i层蛋糕是半径为Ri, 高度为 Hi 的圆柱。 当 i < M 时，要求Ri > Ri+1且Hi > Hi+1。 由于要在蛋糕上抹奶油，为尽可能节约经费，我们希望蛋 ...
分类：
其他好文 时间：
2020-02-24 18:58:12
阅读次数：
87
原文：https://www.cnblogs.com/MR-zhang-01/p/9180775.html一、联机事务处理系统（OLTP系统）也称为生产系统，它是事件驱动、面向需求的，比如银行的储蓄系统就是一个典型的OLTP系统。OLTP在使用过程中积累了大量的数据。关系数据库概念提出之后，联机事务... ...
分类：
其他好文 时间：
2020-02-24 15:04:48
阅读次数：
94
sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加\$CONDITIONS，来实现并行运行mr的功能。 运行测试 测试均基于sqoop1，mysql数据准备如下。 （1）只要有--query+sql，就需要加\$CONDITIONS，哪怕只有一个mapta ...
分类：
其他好文 时间：
2020-02-07 15:06:18
阅读次数：
800
H - Triangle Mr. Frog has n sticks, whose lengths are 1,2, 3??n respectively. Wallice is a bad man, so he does not want Mr. Frog to form a triangle wi ...
package cn.itcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache. ...
分类：
其他好文 时间：
2020-02-02 23:19:55
阅读次数：
98
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
看盈亏平衡图的方法 1. 根据MR=MC,边际收益=边际成本确定产量Q 通过Q和dd曲线的焦点来确定产品的: 价格 然后确定总收益和总成本的矩形 ,比较总收益和总成本矩形的大小 ...
分类：
其他好文 时间：
2020-02-01 17:55:52
阅读次数：
69
