本文介绍了初创公司如何利用AWS,来设计快、多、好、省的技术架构;快:针对业务需要可以快速获得资源与服务;多:拥有丰富的云服务可供选择,能不自己做就不自己做;好:强调扩展性和高可用,既不要在一开始被“钱”束缚住,又需要良好的用户体验(能用是最基本的用户需求);省:可以弹性伸缩,并按需付费是最好的节省...
分类:
其他好文 时间:
2016-05-18 19:00:22
阅读次数:
163
1. BlockManager的注册和初始化
2. BlockManager里面的重要函数详细介绍
一:BlockManager初始化
1. BlockManager的实例对象调用initializes的时候才能正常工作。
启动initializes方法又两个作用:BlockTransferService(网络通信),ShuffleClient/**
* Initializ...
分类:
其他好文 时间:
2016-05-18 19:01:18
阅读次数:
198
Android实训案例(八)——单机五子棋
阿法狗让围棋突然就被热议了,鸿洋大神也顺势出了篇五子棋单机游戏的视频,我看到了就像膜拜膜拜,就学习了一下,写篇博客梳理一下自己的思路,加深一下印象视频链接:http://www.imooc.com/learn/641
一.棋盘
我们一看就知道,我们必须自定义View,这里我们定义一个GameView来做游戏主类,第一步,先测量,我们这里不难知道,五...
分类:
移动开发 时间:
2016-05-18 19:01:00
阅读次数:
374
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基...
分类:
其他好文 时间:
2016-05-18 18:59:14
阅读次数:
148
在设计模式中,适配器模式(英语:adapter pattern)有时候也称包装样式或者包装(wrapper)。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起,做法是将类自己的接口包裹在一个已存在的类中。----WIKIPEDIA
个人理解
适配器模式:将两个不一致或者说无法直接使用的类或者接口通过适配器模式进行兼容,使得他们可以在一块使用。适配...
分类:
其他好文 时间:
2016-05-18 18:58:17
阅读次数:
135
通过阅读和学习书籍《CSS3实战》总结
选择器...
分类:
Web程序 时间:
2016-05-18 18:58:39
阅读次数:
322
JavaWeb之抓包之旅(二) :HttpClient封装工具类...
分类:
编程语言 时间:
2016-05-18 18:58:17
阅读次数:
644
title
ul{
list-style:none;
}
.first{
font-size:16px;
}
.second{
font-size:14px;
}
.third{
font-size:12px;
}
.fourth{
font-size:10px;
}
16px
14px
12p...
分类:
其他好文 时间:
2016-05-18 19:00:25
阅读次数:
126
事件流
IE和Netscape开发团队提出了完全相反的两种事件流的概念,事件冒泡流和事件捕获流。
事件冒泡
事件由最具体的元素开始,逐级向上传播到较不具体的元素,最终到文档。
事件捕获
事件捕获从document开始,逐级向下,最后传到最具体的节点。
DOM事件流
DOM2级事件定义的事件流包含3个阶段:事件捕获阶段,处于目标阶段,事件冒泡阶段。
捕获阶段会从文档节点自...
分类:
Web程序 时间:
2016-05-18 18:57:57
阅读次数:
264
博客以Demo的形式讲诉拦截器的使用
项目结构如图:
需要的jar:有springMVC配置需要的jar和jstl需要的jar
SpringMVC包的作用说明:
aopalliance.jar:这个包是AOP联盟的API包,里面包含了针对面向切面的接口。通常spring等其它具备动态织入功能的框架依赖这个jar
spring-core.jar:...
分类:
编程语言 时间:
2016-05-18 18:59:35
阅读次数:
216
Hive体系结构(一)架构与基本组成
Hive体系结构(二)Hive的执行原理、与关系型数据库的比较
Hive体系结构(三)元数据库与基本操作
Hive体系结构(四)注意事项与扩展特性
1. 使用HIVE注意点
字符集
Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。
备注:中文数据load到表里面,,如果字符集不同,很有可能...
分类:
其他好文 时间:
2016-05-18 18:58:53
阅读次数:
259
一:Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等,如果不是流处理的话,一般会有定时任务。例如10分钟触发一次,1个小时触发一次,这就是做流处理的感觉,一切不是流处理,或者与流处理无关的数据都将是没有价值的数据,以前做批处理的时候其实也是隐形的在做流处理。
2. JobGenerator构造的时候有一个核心的参数是jobScheduler,...
分类:
其他好文 时间:
2016-05-18 18:59:03
阅读次数:
236
调优概述
有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。
数据倾斜发生时的现象
1、绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有1000个task,997个task都在1分钟之内执行完了,但是剩余两三个tas...
分类:
其他好文 时间:
2016-05-18 18:58:03
阅读次数:
221
2.1 语义化,让你的网页更好的被搜索引擎理解
这一章节我们要开始把网页中常用到的标签一 一向大家介绍,学习这一章节的时候要记住学习html标签过程中,主要注意两个方面的学习:标签的用途、标签在浏览器中的默认样式。
什么叫做语义化呢,说的通俗点就是:明白每个标签的用途(在什么情况下使用此标签合理),比如,网页上的文章的标题就可以用标题标签,网页上的各个栏目的栏目名称也可以使用标题标签。文章中内容的段...
分类:
Web程序 时间:
2016-05-18 18:58:42
阅读次数:
382
这篇来讲一下观察者模式,观察者模式在实际项目中使用的也是非常频繁的,它最常用的地方是GUI系统、订阅——发布系统。因为这个模式的一个重要作用就是解耦,使得它们之间的依赖性更小,甚至做到毫无依赖。以GUI系统来说,应用的UI具有易变形,尤其是前期随着业务的改变或者产品的需求修改,应用界面也经常性变化,但是业务逻辑基本变化不大,此时,GUI系统需要一套机制来应对这种情况,使得UI层与具体的业务逻辑解耦...
分类:
移动开发 时间:
2016-05-18 18:55:55
阅读次数:
335
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 CodisProxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务....
分类:
其他好文 时间:
2016-05-18 18:57:20
阅读次数:
238