内容：1、RDD持久化实战；2、Spark广播实战；3、Spark累加器实战；持久化实战几个方面：1、怎么保存结果；2、实现算法的时候cache、persist；3、checkpoint广播：构建算法至关重要，降低网络传输数据量、提高内存的使用效率、加快程序的运行速度累加器：全局的指针部件的变量，..
分类：
其他好文 时间：
2016-02-21 06:49:42
阅读次数：
646
内容：1、为什么使用Sorted-BasedShuffle；2、Sorted-BasedShuffle实战；3、Sorted-BasedShuffle内幕；4、Sorted-BasedShuffle的不足；最常用的Shuffle方式，Sorted-BasedShuffle涉及了大规模Spark开发、运维时核心问题，以及答案的要害所在。必须掌握这一讲内容。本课是从Spar..
分类：
其他好文 时间：
2016-02-21 06:48:14
阅读次数：
277
内容：1、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象，用SparkConf为传入的参数==========Spark天堂之门：SparkContext！！！============1、Spark程序在运行的时候分为Driver..
分类：
其他好文 时间：
2016-02-21 06:48:27
阅读次数：
1031
//SeqList.h
#ifndef__SEQLIST_H__
#define__SEQLIST_H__
#include<string.h>
#include<assert.h>
#include<stdlib.h>
typedefintDataType;
typedefstructSeqList
{
DataType*array;
size_tsize;
DataTypecapacity;//容量
}SeqList,*pSeqList;
voidIni..
分类：
其他好文 时间：
2016-02-21 06:45:59
阅读次数：
281
在公司内部，假设有一批CentOS服务器需要升级或者服务器软件升级，每一台机都使用yumupdate命令从外网下载升级包的话，既费时间，也占流量，实在不划算。而且，有时候会遇到物理机不方便联网的情况，那就加无奈。所以，在局域网内搭建yum服务器，应该是每个Linux从业者必须懂的..
分类：
其他好文 时间：
2016-02-21 06:47:23
阅读次数：
207
2005年8月跟另外七个小伙伴一起来北京学习北大青鸟的网络工程师.2006年开始在北京工作,转眼就是十个年头.当初一起来北京的小伙伴儿就剩下了我和瑞青两个人.继续坚持本行也只有瑞青了.话说调路由设备一调就是十年得是怎样的一个坚持与执着啊,瑞青好厉害!
我虽然没有一直坚持搞网..
分类：
其他好文 时间：
2016-02-21 06:45:01
阅读次数：
192
工具：extundelete关于ext4文件系统的知识：http://www.ibm.com/developerworks/cn/linux/l-cn-filesrc5/一、安装#wgethttp://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.0/extundelete-0.2.0.tar.bz2
#tar-xvfextundelete-0.2.0.tar.bz2
#cdextundelete-0...
分类：
其他好文 时间：
2016-02-21 06:45:29
阅读次数：
557
属性分类：◆公认：公认强制：AS-PATH；next-hop；origin(如何被引进BGP内的)公认自由决定：localpreference;atomicaggregate汇总路由(原子聚合)◆可选：可选传递(如果不支持，原封不动传给邻居)aggregator（聚合者）用于标示汇总路由在哪被汇总的community（团体属性）可选非..
分类：
其他好文 时间：
2016-02-21 06:45:26
阅读次数：
296
数据库路由中间件MyCat-背景篇（2）MyCat的前世今生如前文所说，Amoeba、Cobar、MyCat等属于同宗一脉。若Amoeba能继续下去，Cobar就不会出来；若Cobar那批人不是都走光了的话，MyCAT也不会再另起炉灶。Cobar之后，有很多类似中间件仿照其架构以及思路，针对特定的业务场景，设..
分类：
其他好文 时间：
2016-02-21 06:45:19
阅读次数：
291
数据库路由中间件MyCat-使用篇（1）基本概念直接介绍概念太枯燥了，还是拿个和背景篇相似的例子介绍业务场景：客户完成下单，快递员接受并更新运单状态，客户可以随时查看运单状态的任务。一票快递可能有多个子母件。因此，我们需要建立如下表：我们现在按照业务将数据库垂直拆..
分类：
其他好文 时间：
2016-02-21 06:42:33
阅读次数：
676
数据库路由中间件MyCat-使用篇（2）基本概念3.分片3.1分片节点（dataNode）表被水平切分后，每个分片表所在的数据库就是一个分片节点。一个分片节点对应一个数据库（mysql数据库）。一个分片节点只能保存每个分片表的一个分片，因为db中不允许出现同名的表。3.2节点主机（dataH..
分类：
其他好文 时间：
2016-02-21 06:42:18
阅读次数：
168
数据库路由中间件MyCat-使用篇（3）全局序列号数据切分后，原有的关系数据库中的主键约束在分布式条件下将无法使用，因此需要引入外部机制保证数据唯一性标识，这种保证全局性的数据唯一标识的机制就是全局序列号（sequence）。全局序列号有很多实现的方式，比如本地配置文件，..
分类：
其他好文 时间：
2016-02-21 06:44:39
阅读次数：
388
数据库路由中间件MyCat-使用篇（4）配置MyCat3.配置conf/rule.xml1.4.1中的规则配置比较笨，1.5中优化了一些，将tableRule标签和function标签合并了，并且支持Velocity模板语言，更加灵活。这里先介绍1.4.1的：<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEmycat:ru..
分类：
其他好文 时间：
2016-02-21 06:43:25
阅读次数：
362
数据库路由中间件MyCat-使用篇（5）配置MyCat4.配置schema.xmlschema.xml里面管理着MyCat的逻辑库、表，每张表使用的分片规则、分布在哪个DataNode以及DataSource上。之前的例子：<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEmycat:schemaSYSTEM"schema.dtd">&l..
分类：
其他好文 时间：
2016-02-21 06:44:05
阅读次数：
1752
Apache禁止解析phpls-l/data/www/data(可以看到所属主都是daemon)cd/data/www/data/p_w_upload/forum/可以看到刚刚上传到discuz网站上的图片访问的时候403，是因为之前做了防盗链,把之前做的防盗链注释掉就可以了现在把php解析引擎关掉,不让它解析了,并且在做一个限制，不能解..
分类：
其他好文 时间：
2016-02-21 06:39:32
阅读次数：
203
Description 在经济全球化浪潮的影响下,习惯于漫步在清晨的乡间小路的邮递员Blue Mary也开始骑着摩托车传递邮件了。不过，她经常回忆起以前在乡间漫步的情景。昔日，乡下有依次编号为1..n的n个小村庄，某些村庄之间有一些双向的土路。从每个村庄都恰好有一条路径到达村庄1（即比特堡）。并且，
分类：
其他好文 时间：
2016-02-21 06:37:16
阅读次数：
193
主机环境：Ubuntu10.04.4 LTS 使用工具：buildroot-201208 目 标 板：S3C2410 ---------------------------------------------------转载请注明：xiaobin_hlj80---- preInstall1. lib
分类：
其他好文 时间：
2016-02-21 06:36:44
阅读次数：
186
