大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企
分类：
其他好文 时间：
2018-04-03 17:32:32
阅读次数：
105
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管
分类：
其他好文 时间：
2018-04-03 17:23:44
阅读次数：
143
进程同步(multiprocess.Lock、multiprocess.Semaphore、multiprocess.Event) 锁 —— multiprocess.Lock 通过刚刚的学习，我们千方百计实现了程序的异步，让多个任务可以同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不 ...
分类：
编程语言 时间：
2018-03-28 01:38:23
阅读次数：
369
验证客户端链接的合法性： hmac摘要模块： server端： client端： socketserver: SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都 ...
分类：
其他好文 时间：
2018-03-22 23:07:25
阅读次数：
273
<背景> 内核线程类似于用户进程，通常用于并并发处理性质的任务，并且可以抢占调度。不同于用户进程，内核线程位于内核空间,并且可以访问内核函数和内核数据。 <创建内核线程> a:ret = kernel_thread(mythread,null,CLONE_FS | CLONE_FILES | CLO ...
分类：
编程语言 时间：
2018-03-17 15:26:26
阅读次数：
229
目录 · 大型网站软件系统的特点 · 大型网站架构演化发展历程 · 初始阶段的网站架构 · 需求/解决问题 · 架构 · 应用服务和数据服务分离 · 需求/解决问题 · 架构 · 使用缓存改善网站性能 · 需求/解决问题 · 架构 · 使用应用服务器集群改善网站的并发处理能力 · 需求/解决问题 · ...
分类：
Web程序 时间：
2018-02-27 17:41:47
阅读次数：
289
一、在前面讲过的回射客户/服务器程序中，服务器只能处理一个客户端的请求，如何同时服务多个客户端呢？在未讲到select/poll/epoll等高级IO之前，比较老土的办法是使用fork来实现。网络服务器通常用fork来同时服务多个客户端，父进程专门负责监听端口，每次accept一个新的客户端连接就f ...
分类：
其他好文 时间：
2018-02-26 15:15:41
阅读次数：
210
本文主要针对WEB系统的性能测试。不涉及具体的执行操作，只是本人对性能测试的一点理解和认识。 性能测试的目的，简单说其实就是为了获取待测系统的响应时间、吞吐量、稳定性、容量等信息。而发现一些具体的性能相关的缺陷（如内存溢出、并发处理等问题），我认为只是一种附加结果。从更高的层次来说，性能测试最想发现 ...
分类：
其他好文 时间：
2018-02-21 12:23:37
阅读次数：
169
一直在关注研究.net下的并发处理，之前也发布过几篇文章，今天就都整理下。 使用BlockingCollection来做并发处理，同时增加并发队列来做并发处理时的退出判断: 你真的知道.NET Framework中的阻塞队列BlockingCollection的妙用吗？ 项目开发中应用并发的一二事 ...
分类：
Web程序 时间：
2018-02-15 20:16:03
阅读次数：
250
提高服务器性能有很多方法，比如划分图片服务器，主从数据库服务器，和网站服务器在服务器。但是硬件资源额定有限的情况下，最大的压榨服务器的性能，提高服务器的并发处理能力，是很多运维技术人员思考的问题。 要提高Linux系统下的负载能力，可以使用nginx等原生并发处理能力就很强的web服务器，如果使用A ...
分类：
系统相关 时间：
2018-02-08 20:16:17
阅读次数：
324
