HADOOPYARN是什么？Yarn全称是YetAnotherResourceNegotiator基本概念Container容器是Yarn对资源的一层抽象。（CPU核数，内存等计算资源）容器由NodeManager启动和管理，并被它所监控容器由ResureceManager调度ResourceManager(RM)负责资源管理，包含定时调度器（scheduler）和应用管理器（Applicatio
分类：
其他好文 时间：
2019-01-15 00:54:36
阅读次数：
236
scrapy 五大核心组件的工作流程当执行爬虫文件时，5大核心组件就在工作了 spiders 引擎（Scrapy Engine）管道（item Pipeline）调度器（Scheduler）下载器（Downloader） 首先执行爬虫文件spider，spider的作用是 （1）解析（2）发请求，原 ...
分类：
其他好文 时间：
2019-01-14 22:01:58
阅读次数：
162
display:none、visibility:hidden和opacity:0之间的区别？ 1、空间占据 display:none不会占据原来的空间 visibility:hidden会占据原来的空间 opacity:0会占据原来的空间 2、继承 display:none会被子元素继承，如果父元素 ...
分类：
其他好文 时间：
2019-01-14 14:43:55
阅读次数：
205
数据结构分析主要学习DWM1000 帧过滤功能，希望在目前DS-TWR定位系统中增加中断和帧过滤功能，帧过滤功能可以有效减少系统中的各个模块同时收发数据时的干扰问题，从而极大的提供系统稳定性以及刷新频率。帧过滤以及中断是近期学习的重点，学习基于官方代码为准，部分摘录官方代码进行说明解释。 1 Bli ...
分类：
其他好文 时间：
2019-01-13 21:09:45
阅读次数：
390
IE:trident 内核 Firefox（火狐）：gecko 内核 Safari:webkit 内核 Opera（欧朋）:以前是 presto 内核，Opera 现已改用 Google Chrome 的 Blink 内核 Chrome（谷歌）:Blink(基于 webkit，Google 与 Op ...
分类：
其他好文 时间：
2019-01-10 20:28:17
阅读次数：
155
五大核心组件工作流程 post请求发送 递归爬取 五大核心组件工作流程 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优 ...
分类：
其他好文 时间：
2019-01-10 19:57:38
阅读次数：
138
深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 一. Scheduler的作用就是在 ...
分类：
其他好文 时间：
2019-01-08 15:12:33
阅读次数：
172
前端笔试总结 一、HTML和CSS 1、你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? IE: trident内核 Firefox：gecko内核 Safari:webkit内核 Opera:以前是presto内核，Opera现已改用Google Chrome的Blink内核 Chrom ...
分类：
其他好文 时间：
2019-01-07 20:47:40
阅读次数：
1774
Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committe
分类：
其他好文 时间：
2019-01-07 17:41:15
阅读次数：
128
opensymphony提供的强大的开源任务调度框架 spring的默认调度框架，保存恢复调度现场。灵活，强大调度。 使用了 builder调度模式，factory模式，组件模式，链式写法。 三个核心概念：1.调度器（定时定期执行任务） 2.任务 3.触发器 体系结构：1.JobDetail 2.t ...
分类：
其他好文 时间：
2019-01-06 20:08:23
阅读次数：
167
