一、基本概念
介绍
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。
这个独特的设计是什么样的呢?
首先让我们看几个基本的消息系统术语:
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumer.
...
分类:
其他好文 时间:
2016-05-27 11:43:48
阅读次数:
1857
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优...
分类:
其他好文 时间:
2016-05-27 11:43:37
阅读次数:
210
一、基本概念
什么是库
在windows平台和linux平台下都大量存在着库。
本质上来说库是一种可执行代码的二进制形式,可以被操作系统载入内存执行。
由于windows和linux的平台不同(主要是编译器、汇编器和连接器的不同),因此二者库的二进制是不兼容的。
本文仅限于介绍linux下的库。库的种类
linux下的库有两种:静态库和共享库(动态库)。
二者的不同点在于代码被载入的时...
分类:
其他好文 时间:
2016-05-27 11:42:26
阅读次数:
195
设计模式一 工厂模式Factory
在面向对象编程中, 最通常的方法是一个new操作符产生一个对象实例,new操作符就是用来构造对象实例的。但是在一些情况下, new操作符直接生成对象会带来一些问题。举例来说, 许多类型对象的创造需要一系列的步骤: 你可能需要计算或取得对象的初始设置; 选择生成哪个子对象实例; 或在生成你需要的对象之前必须先生成一些辅助功能的对象。 在这些...
分类:
其他好文 时间:
2016-05-27 11:41:48
阅读次数:
244
RunLoop 是 iOS 和 OSX 开发中非常基础的一个概念,这篇文章将从 CFRunLoop 的源码入手,介绍 RunLoop 的概念以及底层实现原理。之后会介绍一下在 iOS 中,苹果是如何利用 RunLoop 实现自动释放池、延迟回调、触摸事件、屏幕刷新等功能的。...
分类:
其他好文 时间:
2016-05-27 11:41:12
阅读次数:
164
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd "> 4.0.0 asia.banseon banseon-ma...
分类:
其他好文 时间:
2016-05-27 11:39:33
阅读次数:
273
描述
ACM队的mdd想做一个计算器,但是,他要做的不仅仅是一计算一个A+B的计算器,他想实现随便输入一个表达式都能求出它的值的计算器,现在请你帮助他来实现这个计算器吧。
比如输入:“1+2/4=”,程序就输出1.50(结果保留两位小数)输入
第一行输入一个整数n,共有n组测试数据(n<10)。
每组测试数据只有一行,是一个长度不超过1000的字符串,表示这个运算式,每个运算式都是以“=”结...
分类:
其他好文 时间:
2016-05-27 11:41:06
阅读次数:
217
一天一道LeetCode
本系列文章已全部上传至我的github,地址:
https://github.com/Zeecoders/LeetCode
欢迎转载,转载请注明出处
(一)题目
Suppose a sorted array is rotated at some pivot unknown to you beforehand.
(i.e., 0 1 2 4 5...
分类:
其他好文 时间:
2016-05-27 11:39:47
阅读次数:
156
OLAP的历史与基本概念
OLAP全称为在线联机分析应用,是一种对于多维数据分析查询的解决方案。典型的OLAP应用场景包括销售、市场、管理等商务报表,预算决算,经济报表等等。
最早的OLAP查询工具是发布于1970年的Express,然而完整的OLAP概念是在1993年由关系数据库之父EdgarF.Codd 提出,伴随而来的是著名的“twelvelaws of online analyt...
分类:
其他好文 时间:
2016-05-27 11:39:25
阅读次数:
164
Memory中的Channel/Bank/Rank解析最近在看网卡底层驱动的一些资料,被内存bank,rank,channel这些关于memory的名词搞得绕来绕去,网上查了一些资料,说得也不全面。在这里让我们一步一步来拆解memory的神秘面纱,从架构到读写逐步解开这块秘密。发挥性memory分两种,SRAM与DRAMRAM(Random Access Memory)随机存取内存,之所以叫做“随机...
分类:
其他好文 时间:
2016-05-27 11:41:08
阅读次数:
2124
CUBE
Table - This is definition of hive tables as source of cubes, which must be synced before building cubes.
Data Model - This describes a
STAR SCHEMA data model, which defines fact/look...
分类:
其他好文 时间:
2016-05-27 11:40:15
阅读次数:
371
剧情提要:
[机器小伟]在[工程师阿伟]的陪同下进入了[九转金丹]之第八转的修炼。设想一个场景:
如果允许你带一台不连网的计算机去参加高考,你会放弃选择一个手拿计算器和草稿本吗
?阿伟决定和小伟来尝试一下用计算机算高考题会是怎样的感觉。
正剧开始:
星历2016年05月26日 10:23:46, 银河系厄尔斯星球中华帝国江南行省。
[工程师阿伟]正在和[机器小伟]一起做着20...
分类:
其他好文 时间:
2016-05-27 11:39:15
阅读次数:
181
1. 顺序队列的概念
1.1 顺序队列的定义
顺序队列是基于数组的存储表示实现的队列。
1.2 顺序队列中各元素的逻辑及存储关系
顺序队列可以采用顺序表作为其存储表示,因此,可以在顺序队列的声明中用顺序表定义它的存储空间。
顺序队列可以使用一维数组作为队列的存储空间,存放队列元素的数组的头指针为*elements,该数组的最大允许存放元素个数为maxSize,当前队列的队头位置由数组下标指针front指示,队尾...
分类:
其他好文 时间:
2016-05-27 11:37:53
阅读次数:
225
官网介绍
Multi-purpose Notebook
The Notebook is the place for all your needs
Data IngestionData DiscoveryData AnalyticsData Visualization & Collaboration
Multiple language backend...
分类:
其他好文 时间:
2016-05-27 11:37:04
阅读次数:
885
版权所有,未经本人允许,禁止转载!
这个界面功能是,普通覆盖物,以及多边形覆盖物,及他们的描述信息的添加,修改,删除,查看功能,还有多边形根据名称查询功能;
由于这个界面的数据是存在数据库,还有后台代码,所以这个页面无法直接使用;
车辆选择
body, html{width: 100%;height: 100%;margin:0;font-f...
分类:
其他好文 时间:
2016-05-27 11:38:12
阅读次数:
529
一、引子
话说十年前,有一个暴发户,他家有三辆汽车——Benz奔驰、Bmw宝马、Audi奥迪,还雇了司机为他开车。不过,暴发户坐车时总是怪怪的:上Benz车后跟司机说“开奔驰车!”,坐上Bmw后他说“开宝马车!”,坐上Audi说“开奥迪车!”。你一定说:这人有病!直接说开车不就行了?!
而当把这个暴发户的行为放到我们程序设计中来时,会发现这是一个普遍存在的现...
分类:
其他好文 时间:
2016-05-27 11:36:40
阅读次数:
284
Java语言的关键字,当它用来修饰一个方法或者一个代码块的时候,能够保证在同一时刻最多只有一个线程执行该段代码。
一、当两个并发线程访问同一个对象object中的这个synchronized(this)同步代码块时,一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。
二、然而,当一个线程访问object的一个synch...
分类:
其他好文 时间:
2016-05-27 11:36:29
阅读次数:
251