今天要把线上600M的日志进行信息抽取，提取出被多次编码的中文账号。日志文件有200W行，用单线程的程序跑，花了20分钟。感觉速度不够快，而且CPU的使用率一直是25%， 根本没有有效的利用硬件资源。于是尝试用多线程的程序进行提速，CPU耗到了接近100%， 程序内存耗到了200M，最终花了14分钟把数据跑完，提速了6分钟，感觉还不错。因为对JDK的多线程框架还不熟悉，多线程的代码改写了好几版，中...
分类：
其他好文 时间：
2014-11-05 13:08:25
阅读次数：
229
说到.net中的并行编程，也许你的第一反应就是Task，确实Task是一个非常灵活的用于并行编程的一个专用类，不可否认越灵活的东西用起来就越复杂，高度封装的东西用起来很简单，但是缺失了灵活性，这篇我们就看看这些好用但灵活性不高的几个并行方法。一：Invoke 现在电子商务的网站都少不了订单的流...
分类：
其他好文 时间：
2014-11-02 00:32:10
阅读次数：
217
在上一篇文章中介绍了并行计算的基础概念，也顺便介绍了OpenMP。 OpenMp提供了对于并行描述的高层抽象，降低了并行编程的难度和复杂度，这样程序员可以把更多的精力投入到并行算法本身，而非其具体实现细节。对基于数据分集的多线程程序设计，OpenMP是一个很好的选择。同时，使用OpenMP也提...
分类：
其他好文 时间：
2014-10-29 16:32:17
阅读次数：
245
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软...
分类：
其他好文 时间：
2014-10-24 20:20:24
阅读次数：
312
并行编程的基础，让我们走进 CPU 的世界。...
分类：
其他好文 时间：
2014-10-24 19:00:15
阅读次数：
435
Cache 一致性在并行编程中非常重要，理解这些原理将是你成为并行编程高手的必经之路。...
分类：
系统相关 时间：
2014-10-24 16:30:17
阅读次数：
230
并行编程是 CPU 进入多核时代后一个非常重要的方面，要想掌握并行编程，一些基础的知识非常重要。...
分类：
系统相关 时间：
2014-10-24 10:57:45
阅读次数：
222
上文《.Net中的并行编程-3.ConcurrentQueue实现与分析》分析了ConcurrentQueue的实现，本章就基于ConcurrentQueue实现一个高性能的异步队列，该队列主要用于实时数据流的处理并简化多线程编程模型。设计该队列时考虑以下几点需求（需求来自公司的一个实际项目）： 1...
分类：
Web程序 时间：
2014-10-13 00:42:58
阅读次数：
239
Boost Lockfree
flyfish 2014-9-30
为了最大限度的挖掘并行编程的性能考虑使用与锁无关的数据结构来编程
与锁无关的数据结构不是依赖于锁和互斥来确保线程安全。
Lockfree的重要操作就是CAS（Compare And Set）原子操作
原子操作就是多个线程访问同一个资源时，有且仅有唯一 一个线程对该资源进行操作
BOOST中的宏定义
BOOST_...
分类：
其他好文 时间：
2014-09-30 16:31:43
阅读次数：
160
在上一篇博客5天玩转C#并行和多线程编程 —— 第一天 认识Parallel中，我们学习了Parallel的用法。并行编程，本质上是多线程的编程，那么当多个线程同时处理一个任务的时候，必然会出现资源访问问题，及所谓的线程安全。就像现实中，我们开发项目，就是一个并行的例子，把不同的模块分给不同的人.....
分类：
编程语言 时间：
2014-09-28 21:23:25
阅读次数：
247
