YARN的核心组件: 1)ResourceManager,扮演Master角色(和HDFS的nameNode很像)主要用于资源分配;RM有两个子组件,分别是Scheduler(Capacity Scheduler以及Fair Scheduler)以及ApplicationManager,主要用于管理 ...
分类:
其他好文 时间:
2018-04-05 23:13:25
阅读次数:
277
两者都是优秀的序列化框架; Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案(此时已经有了thrift),用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案;也是一种高效传输的方案,代价就是它采用的是静态的IDL的方式,根据定义的接 ...
分类:
其他好文 时间:
2018-04-05 23:13:16
阅读次数:
238
程序调试的步骤: 1.设置断点 相当于临时遇见的红路灯 2.以调试方式运行java程序 3.单步跳过和单步跳入 跳过:运行断点行代码跳至下一行 跳入:运行断点行代码同时看看这行如何运行的 行内的代码里可能有其他的方法 在需要调试的行首双击出现小圆圈,点菜单栏的小虫子进入调试页面,调试结束点击右上角的 ...
分类:
其他好文 时间:
2018-04-05 23:13:08
阅读次数:
244
"luogu" 题意 给你一个无向图$G(V,E)$。 每个顶点都有一个int范围内的整数的标记。 不同的顶点可能有相同的标记。 对于边$(u,v)$,我们定义$Cost(u,v)=\rm mark_u\ xor \ mark_v$。 现在我们知道某些节点的标记了。你需要确定其他节点的标记,以使边的 ...
分类:
其他好文 时间:
2018-04-05 23:13:01
阅读次数:
185
一、MQ消息发送 1、发送端MQ-client(消息生产者:Producer)将消息发送给MQ-server; 2、MQ-server将消息落地; 3、MQ-server回ACK给MQ-client(Producer); 4、MQ-server将消息发送给消息接受端MQ-client(消息消费者:C ...
分类:
其他好文 时间:
2018-04-05 23:12:53
阅读次数:
2601
1.为什么要进行数据加密? 若不对数据加密,难免在进程间通信时,会有第三者窃听甚至修改通信数据;因此为了更好的确保数据的机密性,完整性,需要对数据加密。2.加密方案组成 加密算法及协议 加密密钥3.常用的数据加密算法 1.对称加密算法: &
分类:
其他好文 时间:
2018-04-05 23:12:44
阅读次数:
211
1、列表合并 a.exend(b)将b列表内容合并到a列表中,输出结果为: 2、字典合并 a.update(b) 将b字典内容合并到a字典中,输出结果为: 3、布尔类型 4、交换变量的值 1、交换两个变量的值(一) 输出结果为:2,1 2、交换两个变量的值(二) 3、交换三个变量的值 输出结果:3, ...
分类:
编程语言 时间:
2018-04-05 23:12:35
阅读次数:
254
一、大致介绍 二、简单认识Netty 2.1 何为Netty? 2.2 为什么使用Netty? 2.3 大致阐述启动流程 2.4 Netty服务端启动Demo 三、常用的类结构 四、源码分析Netty服务端启动 4.1、创建bossGroup对象 4.2、实例化线程管理组的孩子结点children[ ...
分类:
Web程序 时间:
2018-04-05 23:12:26
阅读次数:
359
巨难!!! 去年六省联考唯一的一道黑牌题,我今天一天从早到晚,把它从暴力15分怼到了90分,极端接近正解了。 bzoj上A了,但是洛谷和loj上面就不行。伪正解会T,奇奇怪怪的类正解会WA。。 那么,网上的题解多得很,我就不细说了。 着重说一下我的理解感受和坑点。 1.不愧是黑牌题,显得十分的繁杂( ...
分类:
其他好文 时间:
2018-04-05 23:12:17
阅读次数:
225
Lambda表达式和匿名内部类的相同点: 都可以直接访问成员变量,effectively final变量 Lambda表达式返回的对象和匿名内部类创建的对象一样,可以调用继承自接口的default方法。 Lambda表达式和匿名内部类的不同点: Lambda表达式只能为函数式接口创建对象,函数式接口 ...
分类:
其他好文 时间:
2018-04-05 23:12:06
阅读次数:
233
通用函数(ufunc)是对ndarray中的数据执行元素级运算的函数。可看作简单函数的矢量化包装。 一元ufunc sqrt对数组中的所有元素开平方 exp对数组中的所有元素求指数 二元ufunc maximum 比较多个数组相同位置的元素,取大的值。注意,相互比较的数组shape必须一致 mini ...
分类:
编程语言 时间:
2018-04-05 23:11:56
阅读次数:
475
Markdown:Basics(快速入门) 段落、标题、区块代码 一个段落是由一个以上的连接的行句组成,而一个以上的空行则会划分出不同的段落(空行的定义是显示上看起来像是空行,就被视为空行,例如有一行只有空白和 tab,那该行也会被视为空行),一般的段落不需要用空白或换行缩进。 Markdown 支 ...
分类:
其他好文 时间:
2018-04-05 23:11:39
阅读次数:
202
文件/目录管理命令: cd命令主要是改变目录的功能 cd ~ 返回登录目录 cd / 返回系统根目录 cd ../ 或者cd .. 返回上一级目录 cd - 返回上一次访问的目录 pwd命令用于显示用户当前所在的路径、目录 文件内容查看: cat song.log : 查看song.log文件内容 ...
分类:
系统相关 时间:
2018-04-05 23:11:28
阅读次数:
311
最近总被这玩意坑,面试官也老爱问,“还有别的方式吗”....... 1、使用绝对定位 元素在过度受限情况下,将margin设置为auto,浏览器会重算margin的值,过度受限指的是同时设置top/bottom与height或者left/right与width 有点需要注意的是,设置子元素的宽度高度 ...
分类:
Web程序 时间:
2018-04-05 23:11:18
阅读次数:
264
Hello Build To Win!我们是奶牛小分队! section 1 组建团队 1. 队员介绍: 姓名 学号 风格 擅长技术 编程兴趣 希望软工角色 吴建瑜 2016012024 努力学习,善于表达 Web前端 微信小程序 Web APP 前端工程师 李庭娟 2016012064 刻苦钻研, ...
通过if else 来做的一个小型简单的国家首都查询 static void Main(string[] args) { //国家首都查询 Console.Write("请输入国家名:"); string country = Console.ReadLine(); if (country == "中 ...
分类:
其他好文 时间:
2018-04-05 23:11:02
阅读次数:
174
当我们在使用spark编写mr作业是,最后都要涉及到调用reduce,foreach或者是count这类action来触发作业的提交,所以,当我们查看这些方法的源码时,发现底层都调用了SparkContext的runJob方法,而SparkContext的runJob方法又调用的DAGSchedul ...
分类:
其他好文 时间:
2018-04-05 23:10:53
阅读次数:
312