准备 我们都知道PHP是单进程执行的，PHP处理多并发主要是依赖服务器或PHP-FPM的多进程及它们进程的复用，但PHP实现多进程也意义重大，尤其是在后台Cli模式下处理大量数据或运行后台DEMON守护进程时，多进程的优势不用多说。 PHP的多线程也曾被人提及，但进程内多线程资源共享和分配的问题难以 ...
分类：
Web程序 时间：
2020-04-23 23:26:07
阅读次数：
79
项目目标： 首先是将Access数据库中的大量数据（已经存好的原有百万级数据）转存到mysql数据库中，然后，随着Access中数据的增加，要同步更新mysql数据库，更新周期自定。 思路：一开始的转存前篇博客已经讲过，这里就忽略了，主要是实现Access数据更新后同步到mysql中。思路是： 1. ...
分类：
数据库 时间：
2020-04-19 17:38:25
阅读次数：
309
进程的前三个部分(进程的基本概念、进程控制、线程)请阅读 操作系统-4-进程管理(一) 四、进程同步 概念：进程同步的主要任务是使并发执行的各进程之间能有效的共享资源和相互合作，从而使程序的执行具有可再现性。 1 进程同步的基本概念 (1)进程之间的两种制约关系:间接制约关系：系统资源竞争，进程间彼 ...
分类：
系统相关 时间：
2020-04-19 00:39:45
阅读次数：
76
高性能计算（HPC）通过极快的处理速度，获取大量数据进行复杂的运算，实现数据即时分析，达到快速决策的目标。HPC广泛应用于油气勘探、天气分析、基因测序、高校科研、尖端实验室。对于存储系统要求必须足够的性能，保证来自多个HPC服务器密集而多样的分析行为。由于未分析的原始数据会越积越多，并且未来还会有更多的数据需要研究/处理，因此容量和扩展性也是重要的考虑因素。HPC的总体数据最终会达到PB级别，需要
分类：
其他好文 时间：
2020-04-17 15:35:41
阅读次数：
109
本文的所有代码都在GitHub上托管，想要代码的同学请点击 "这里:smile_cat:" 序 ：由于自己想要实现一个课程推荐系统，需要在各大视频网站上爬取所有视频课程，从而为后续的推荐工作提供大量数据，在此篇博客中我分别爬取了MOOC、网易云课堂、腾讯课堂、学堂在线共约15万条数据。 运行环境 ： ...
分类：
其他好文 时间：
2020-04-17 11:16:41
阅读次数：
506
zqc0512有轮子都还造轮子啊。套路不对呢。2018-08-1416:27MCTW回复zqc0512_(ω」∠)_没办法啊同学。曾经用过elasticsearch-jdbc，不是很能满足需求啊。如果字段存的是竖线分隔的标签："金融|大数据|工作平台"，希望传到es变成字符串数组["金融","大数据 ...
分类：
数据库 时间：
2020-04-17 00:45:52
阅读次数：
353
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
项目用的ORM框架是用springdatajpa来做的，有些批量数据操作的话，用这个效率太低，所以用mybatis自己写sql优化一下。 一般情况，我们肯定是先查询，有就修改，没有就添加，这样的话，单个操作还好，如果是大量数据的话，每次都需要先查后改（如果用springdatajpa的话，添加之前还 ...
分类：
其他好文 时间：
2020-04-11 20:33:38
阅读次数：
442
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53333.htmlApacheMapReduce是一个用于分析大量数据的软件框架。它由ApacheHadoop提供。MapReduce本身超出了本文档的范围。开始使用MapReduce的好地方是https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-
分类：
其他好文 时间：
2020-04-11 09:37:51
阅读次数：
83
TopK 问题 少量数据，可以全部读入内存 LeetCode原题，两种方法： 1. 优先队列（堆排序） 2. QuickSelect 大量数据，无法全部读入内存 50 GB 数据，CPU 2 核，512 MB 内存 使用堆排序，内存中只需要常驻当前TopK，读取数据时只读取一个数据分组，比如 100 ...
分类：
其他好文 时间：
2020-04-08 11:54:51
阅读次数：
58
