1、注册Spring配置文件，在web应用启动时创建Spring容器（注册listener）。 2、字符集过滤器 3、注册SpringMVC中央调度器 4、定义实体类，实现页面。 例如Student类，注册页面，欢迎页面 5、实现处理器，编写主业务逻辑，等待service注入。 6、编写servic ...
分类：
Web程序 时间：
2019-01-19 18:50:59
阅读次数：
156
1.工作流调度器的介绍（1）为什么要使用工作流调度器？??-一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等??-各任务单元之间存在时间先后及前后依赖关系??-为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行（2）常见工作流调度器?&e
分类：
其他好文 时间：
2019-01-17 23:55:27
阅读次数：
347
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2019-01-16 20:48:10
阅读次数：
151
层的概念： 所有的层(layer)依然可以在同一组物理天线的所有振子上发送，层实际上是指手机和基站间能够被区分的不同信道，手机能检测出来多少个层，由手机通过Rank indication在PUCCH上报 Codeword的概念，是指调度器所能调度出来的TB块，一个或者两个，两个TB块分别映射到同一个 ...
分类：
其他好文 时间：
2019-01-16 18:07:19
阅读次数：
199
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2019-01-16 16:40:55
阅读次数：
140
https://pan.baidu.com/s/1tm_FQ4C8heQqzx01URr85A//软件连接百度网盘三台mysql数据库：主数据库服务器：192.168.80.100从数据库服务器1：192.168.80.101从数据库服务器2：192.168.80.102一台amoeba调度器：192.168.80.103一台mariadb客户端：192.168.80.104注：五台虚拟机第一步都
分类：
数据库 时间：
2019-01-16 01:05:57
阅读次数：
190
scrapy框架的简介和基础使用 概念：为来爬取网站数据而编写的一款应用框架，集成了相应的功能且具有很强通用型的项目模版 功能:scrapy框架提供了高性能的异步下载、解析、持久化存储操作... scrapy核心组件 引擎(Scrapy) 用来处理整个系统的数据流处理，出发事物(框架核心) 调度器( ...
分类：
编程语言 时间：
2019-01-15 17:10:12
阅读次数：
213
HADOOPYARN是什么？Yarn全称是YetAnotherResourceNegotiator基本概念Container容器是Yarn对资源的一层抽象。（CPU核数，内存等计算资源）容器由NodeManager启动和管理，并被它所监控容器由ResureceManager调度ResourceManager(RM)负责资源管理，包含定时调度器（scheduler）和应用管理器（Applicatio
分类：
其他好文 时间：
2019-01-15 00:54:36
阅读次数：
236
Go语言直接支持内置支持并发。当一个函数创建为goroutine时,Go会将其视为一个独立的工作单元。这个单元会被调度到可用的逻辑处理器上执行。 Go语言运行时的调度器是一个复杂的软件,这个调度器在操作系统之上。操作系统的线程与语言运行时的逻辑处理器绑定,并在逻辑处理器上运行goroutine。 G... ...
分类：
编程语言 时间：
2019-01-15 00:52:04
阅读次数：
240
scrapy 五大核心组件的工作流程当执行爬虫文件时，5大核心组件就在工作了 spiders 引擎（Scrapy Engine）管道（item Pipeline）调度器（Scheduler）下载器（Downloader） 首先执行爬虫文件spider，spider的作用是 （1）解析（2）发请求，原 ...
分类：
其他好文 时间：
2019-01-14 22:01:58
阅读次数：
162
