码迷,mamicode.com
首页 > 其他好文
第13课:Spark Streaming源码解读之Driver容错安全性
本篇博文的目标如下: 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性文章的组织思路如下: 考虑Driver容错安全性,我们要思考什么? 再详细分析ReceiverBlockTracker,DStream和JobGenerator容错安全性一:容错安全性 1. ReceivedBlockTracker负责管理Spa...
分类:其他好文   时间:2016-05-27 12:21:02    阅读次数:169
bulong_filter
存在这样一个问题:判断一个函数是否已经在集合中,最常见的是用散列表实现集合,然后遇到一个新元素时,在散列表中查找,如果能找到则意味着存在于集合当中,反之不存在,但是散列表有一个弊端,它耗费的空间太大了—布隆过滤器布隆过滤器布隆过滤器是一种空间效率很高的随机数据结构,它可以看成是对位图的扩展。其结构是长度为n(如何设计最优的n)的位数组,初始化为0,当一个元素加入这个集合中,通过k个散列函数将这个元素...
分类:其他好文   时间:2016-05-27 12:19:58    阅读次数:253
MyBatis Review——查询缓存
一,查询缓存简介        mybatis提供查询缓存,用于减轻数据压力,提高数据库性能。        mybaits提供一级缓存,和二级缓存。          一级缓存是SqlSession级别的缓存。在操作数据库时候,需要构造sqlSession对象,在对象中有一个数据结构(HashMap)用于存储缓存数据。不同的sqlSession之间的缓存数据区域是互相不影响的。...
分类:其他好文   时间:2016-05-27 12:20:45    阅读次数:266
Spark 定制版:007~Spark Streaming源码解读之JobScheduler内幕实现和深度思考
本讲内容:a. JobScheduler内幕实现 b. JobScheduler深度思考注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。上节回顾上节课,我们以JobGenerator类为重心,为大家左右延伸,解密Job之动态生成;并总结出了Job之动态生成的三大核心:a. JobGenerator: 负责Job生成b. JobSheduler:负责Job...
分类:其他好文   时间:2016-05-27 12:19:58    阅读次数:160
第12课:Spark Streaming源码解读之Executor容错安全性
本篇博文的目标是 1. Executor的WAL机制详解 2. 消息重放Kafka数据安全性的考虑: Spark Streaming不断的接收数据,并且不断的产生Job,不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。 Spark Streaming是基于Spark Core之上的,如果能够确保数据安全可好的话,在Spark Streaming生成Job的时候里面是基...
分类:其他好文   时间:2016-05-27 12:19:58    阅读次数:233
大众点评支付渠道网关系统的实践之路
业务的快速增长,要求系统在快速迭代的同时,保持很好的扩展性和可用性。其中,交易系统除了满足上述要求之外,还必须保持数据的强一致性。对系统开发人员而言,这既是机遇,也是挑战。本文主要梳理大众点评支付渠道网关系统在面对这些成长烦恼时的演进之路,以及过程中的一些思考和实践。 在整个系统的演进过程中,核心思路是:大系统做小,做简单(具体描述可参考《高可用性系统在大众点评的实践与经验》)。在渠道网关系...
分类:其他好文   时间:2016-05-27 12:18:34    阅读次数:139
操作系统(os)总结----大学的课件(参考书:王爽的 8086汇编)
1. 我们先说一下操作系统的发展史,这样更有利于我们对这个技术脉络的把├——手工打孔 插卡 ├——单道批处理├—- 联机处理(可以批量处理作业但是一次只能处理一个作业) ├ ├──– 脱机处理(缓和人机矛盾,使cpu和输入输入设备并行处理) ├——多道批处理 ├——分时系统 ├——实时系统结构发展经历下面四个阶段: ├—— 无结构...
分类:其他好文   时间:2016-05-27 12:19:27    阅读次数:201
VRP系统-2
管理VRP配置文件 VRP系统有”配置文件“(已以文件形式保存的配置)和”当前配置“(正在运行、生效的配置,仅指没有以文件形式保存的配置)两种配置文件。用户可以进行保存配置文件(把当前配置以文件形式保存起来)、备份配置文件(备份已有的配置文件)、恢复配置文件(恢复使用其他配置文件),指定下次启动的启动文件(包括配置文件)等。 一、保存配置文件 用户通过命令行修改设备的当前配置,这些配置在设备...
分类:其他好文   时间:2016-05-27 12:19:27    阅读次数:220
网络与通信:网络协议(概念)
计算机网络技术是互联网发展的基础。它是计算机技术与通信技术结合的产物,是现在信息技术的一个重要组成部分,而且正朝着数字化、高速化、智能化的方向迅速发展。随着3G、4G技术的兴起,越来越多的企业参与到了网络与通信相关的行业的角逐,网络与通信相关的行业的角逐,网络与通信成为信息化浪潮的先锋。而对于网络相关技术的考察也越来越受到各大IT企业的重视。 TCP和UDP的区别有哪些 什么叫三次握手什么叫...
分类:其他好文   时间:2016-05-27 12:19:12    阅读次数:156
彻底弄懂Activity四大启动模式
最近有几位朋友给我留言,让我谈一下对Activity启动模式的理解。我觉得对某个知识点的理解必须要动手操作才能印象深刻,所以今天写一篇博文,结合案例理解Activity启动模式。由于之前看过“区长”的一篇博文(文章结尾处有链接)深受启发,因此本文是在那篇文章的基础上更加全面的讲解。        众所周知当我们多次启动同一个Activity时,系统会创建多个实例,并把它们按照先进后出的原则一一放入...
分类:其他好文   时间:2016-05-27 12:18:44    阅读次数:239
【一天一道LeetCode】#62. Unique Paths
一天一道LeetCode系列(一)题目 A robot is located at the top-left corner of a m x n grid (marked ‘Start’ in the diagram below). The robot can only move either down or right at any point in time. The robo...
分类:其他好文   时间:2016-05-27 12:18:25    阅读次数:209
【一天一道LeetCode】#61. Rotate List
一天一道LeetCode系列(一)题目 Given a list, rotate the list to the right by k places, where k is non-negative. For example: Given 1->2->3->4->5->NULL and k = 2, return 4->5->1->2->3->NULL. (二)解题本题的思...
分类:其他好文   时间:2016-05-27 12:16:48    阅读次数:142
操作系统实验指导书(完整版)
操作系统实验指导书               烟台大学计算机学院 操作系统课程组 2008-9-20             第一部分  操作系统上机指导   Linux操作系统环境: RedHat Enterprise Linux ES release 3 (Taroon Update 1) (2.4.21-9.EL) Red Flag Linux r...
分类:其他好文   时间:2016-05-27 12:15:44    阅读次数:368
浅谈802.1X认证
一、起源 802.1x协议起源于802.11协议,后者是标准的无线局域网协议。802.1x协议的主要目的是为了解决局域网用户的接入认证问题,现在已经开始被应用于一般的有线LAN的接入。在802.1x出现之前,企业网有线LAN应用都没有直接控制到端口的方法,也不需要控制到端口。但是随着无线LAN的应用以及LAN接入到电信网上大规模开展,有必要对端口加以控制,以实现用户级的接入控制。802.1x就是...
分类:其他好文   时间:2016-05-27 12:16:43    阅读次数:288
外卖决胜之战 看百度外卖如何死磕”准时”搞定用户
从e保养到百度外卖,从Airbnb到uber,不知不觉间O2O已经“渗入”到人们衣食住行的各个角落并形成了诸侯割据的局面。外卖O2O更甚,如今外卖行业已形成了百度外卖、美团外卖、饿了么三国鼎立之势,而且各自背靠BAT巨头,并在核心优势和主攻方向上都各有侧重,资本和市场也均趋于成熟,这所有的迹象都在表明,外卖O2O即将进入分水岭,那么今天我们就聊聊什么才是决定外卖平台生死的变量,谁又最可能成为“剩者...
分类:其他好文   时间:2016-05-27 12:16:26    阅读次数:275
ISCC 2016 逆向部分 writeup
渣渣的我 做了ISCC2016的题目...
分类:其他好文   时间:2016-05-27 12:14:33    阅读次数:400
应用基础知识
应用基础知识 Android 应用采用 Java 编程语言编写。Android SDK 工具将您的代码—连同任何数据和资源文件—编译到一个 APK: Android 软件包,即带有 .apk 后缀的存档文件中。一个 APK 文件包含 Android 应用的所有内容,它是基于 Android 系统的设备用来安装应用的文件。 安装到设备后,每个 Android 应用都运行在自己的安...
分类:其他好文   时间:2016-05-27 12:15:08    阅读次数:222
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!