从Dremel和Impala的学习引申出了SQL查询的并行执行问题,于是借此机会深入学习一下关系数据库以及关系代数的并行计算。Speedup和ScaleupSpeedup指用两倍的硬件换来一半的执行时间。Scaleup指两倍的硬件换来同等时间内执行两倍的任务。但往往事情不是那么简单,两倍的硬件也会带来其他问题:更多CPU带来的长启动时间和通信开销,以及并行计算带来的数据倾斜问题。多处理器架构共享内...
分类:
其他好文 时间:
2014-12-13 15:12:15
阅读次数:
254
最近在研究网络服务框架方面的东西,发现了一个神奇的东西-协程。
一句话说明什么是线程:协程是一种用户态的轻量级线程。
一句话并不能完全概括协程的全部,但是起码能让我们对协程这个概念有一个基本的印象。
从硬件发展来看,从最初的单核单CPU,到单核多CPU,多核多CPU,似乎已经到了极限了,但是单核CPU性能却还在不断提升。server端也在不断的发展变化。如果将程序分为IO密集型应用和CPU密集型应用,二者的server的发展如下:
IO密集型应用: 多进程->多线程->事件驱动->协程
CPU密集型应用:...
分类:
其他好文 时间:
2014-12-03 19:26:25
阅读次数:
269
1、常用的压缩算法 1)snappy是Google的一个快速压缩和解压数据的库,使用C++编写。它的目标不是最大限度的压缩,也不是与其它压缩库兼容。snappy旨在提供非常高的压缩速度和合理的压缩率。64位模式下,使用单个Core i7处理器内核,压缩和解压速度可分别达到250MB/s和500...
分类:
其他好文 时间:
2014-11-20 00:01:23
阅读次数:
374
1、同步网络模型:就是服务端同步阻塞等待客户端的请求,然后继续操作后续处理,缺点是性能低。2、同步通讯+多线程模型:服务端为每个客户端分配线程,这个线程就负责这个客户端,同步通讯,同步处理这个客户端的请求, 缺点就是当客户端很多时,线程很多,CPU在却换线程的上下文时会消耗很多资源,最终会导致CPU...
分类:
其他好文 时间:
2014-11-16 11:56:14
阅读次数:
136
最近在写一个linux备份的脚本,由于文件较大,导致压缩时间过长。于是简单了解了下几个压缩工具tar,bzip2,gzip等都是常用的压缩工具,但是这些命令都只能工作在一个cpu下,即使服务器是多核cpu也无法同时工作在多个cpu上,然而pbzip2正好解决了这个问题。下面简单介绍下这个工..
分类:
其他好文 时间:
2014-11-14 15:55:53
阅读次数:
275
就是原理很分页原理一样! 选取一定数量的数据然后变成数组,接着直接写入文件。接下来继续选取后面没选定数据在变成数组,接着在写入文件!这个解决了内存溢出。但是多CPU还是有个考验! 由于本人刚刚学PHP(PHP培训php教程)不久,功力不深厚!只能写出这样的东西!源码!Excel(Excel培训)类P...
分类:
数据库 时间:
2014-11-12 00:30:14
阅读次数:
267
原理: 就是原理很分页原理一样! 选取一定数量的数据然后变成数组,接着直接写入文件。接下来继续选取后面没选定数据在变成数组,接着在写入文件!这个解决了内存溢出。但是多CPU还是有个考验! 由于本人刚刚学PHP(PHP培训php教程)不久,功力不深厚!只能写出这样的东西!源码!Excel(Excel培...
分类:
数据库 时间:
2014-11-08 14:56:46
阅读次数:
254
原理: 就是原理很分页原理一样! 选取一定数量的数据然后变成数组,接着直接写入文件。接下来继续选取后面没选定数据在变成数组,接着在写入文件!这个解决了内存溢出。但是多CPU还是有个考验! 由于本人刚刚学PHP(PHP培训php教程)不久,功力不深厚!只能写出这样的东西!源码!Excel(Excel培...
分类:
数据库 时间:
2014-11-04 14:31:32
阅读次数:
342
今天,我看到公司交换机的CPU情况。发现好高,正常在40%左右。到底是什么原因呢?使用#showprocesscpu看了一下。PIDRuntime(ms)InvokeduSecs5Sec1Min5MinTTYProcess241358248483639320272191119.42%14.50%14.41%0SNMPENGINE看到没有,snmp竟然消耗好多CPU。为何会这么高呢?使..
分类:
其他好文 时间:
2014-10-27 19:42:57
阅读次数:
294
欢迎来到unity学习、unity培训、unity企业培训教育专区,这里有很多U3D资源、U3D培训视频、U3D教程、U3D常见问题、U3D项目源码,我们致力于打造业内unity3d培训、学习第一品牌。首先我们来看到底什么是骨骼动画:在早期的机器上,渲染本身已经占用了很多CPU资源,因此,对于渲..
分类:
编程语言 时间:
2014-10-27 19:42:22
阅读次数:
203