# Spark:RDD的设计与运行原理 ## 1.RDD设计背景在实际应用中，存在许多迭代式算法和家忽视数据挖掘工具，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即下一个阶段的输出结果会作为下一个阶段的输入。但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的 ...
分类：
其他好文 时间：
2019-01-18 16:32:24
阅读次数：
226
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2019-01-16 20:48:10
阅读次数：
151
demo 01: #!/usr/bin/python #encoding:utf-8 import urllib import os def Schedule(a,b,c): ''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0*a*b/c if per ...
分类：
其他好文 时间：
2019-01-16 19:13:43
阅读次数：
213
主要配置如下: 配置项描述构造器默认值默认配置validate之后的值validate重置 autoCommit 自动提交从池中返回的连接 true true - connectionTimeout 等待来自池的连接的最大毫秒数 SECONDS.toMillis(30) = 30000 30000 ...
分类：
编程语言 时间：
2019-01-15 14:10:39
阅读次数：
353
1、SpringBoot定时任务schedule讲解 简介：讲解什么是定时任务和常见定时任务区别 1、常见定时任务 Java自带的java.util.Timer类 timer:配置比较麻烦，时间延后问题 timertask:不推荐 2、Quartz框架 配置更简单 x... ...
分类：
编程语言 时间：
2019-01-13 00:17:12
阅读次数：
262
gpedit.msc—–组策略 2. sndrec32——-录音机 3. Nslookup——-IP地址侦测器 ，是一个 监测网络中 DNS 服务器是否能正确实现域名解析的命令行工具。 它在 Windows NT/2000/XP 中均可使用 , 但在 Windows 98 中却没有集成这一个工具。 ...
分类：
其他好文 时间：
2019-01-09 00:31:15
阅读次数：
187
原文:redis 系列20 服务器下二. serverCron函数 2.3 更新服务器每秒执行命令次数 serverCron函数中的trackOperationsPerSecond函数会以每100毫秒一次的频率执行，这个函数以抽样计算的方式，估算并记录服务器在最近一秒钟处理的命令请求数量，这个值可以... ...
分类：
其他好文 时间：
2019-01-06 23:04:18
阅读次数：
341
leetcode schedule: 3 be done ,3 better than 99% 1. "sum" my code 思路：先对所给序列进行排序，然后依次对小于target/2的数a，在有序序列中用二分查找找(target a) 复杂度 排序调用标准库的sort，O(nlogn) 二分查 ...
分类：
其他好文 时间：
2019-01-02 19:18:33
阅读次数：
217
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address ...
分类：
其他好文 时间：
2019-01-02 12:44:44
阅读次数：
265
添加task定时任务的xml文件，配置在spring文件中 @Scheduled注解可以控制方法定时执行，其中有三个参数可选择： 1、fixedDelay控制方法执行的间隔时间，是以上一次方法执行完开始算起，如上一次方法执行阻塞住了，那么直到上一次执行完，并间隔给定的时间后，执行下一次。 2、fix ...
分类：
编程语言 时间：
2018-12-25 23:35:29
阅读次数：
276
