高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 ...
分类：
编程语言 时间：
2020-08-31 13:23:39
阅读次数：
70
threadpool类： class threadpool:noncopyable { }; 作用： 利用mymuduo::thread 完成对于线程池的封装线程池内部成员:线程集合m_threads: 用于保存线程池内的所有线程线程池任务队列m_queue 表示待执行的任务队列条件变量:m_not ...
分类：
其他好文 时间：
2020-08-29 15:28:28
阅读次数：
56
前言如果按照用途与特性进行粗略的划分，JUC包中包含的工具大体可以分为6类：执行者与线程池并发队列同步工具并发集合锁原子变量在【并发系列】中，主要讲解了执行者与线程池，同步工具，锁，在分析源码时，或多或少的提及到了「队列」，队列在JUC中也是多种多样存在，所以本文就以「远看」视角，帮助大家快速了解与区分这些看似「杂乱」的队列并发队列Java并发队列按照实现方式来进行划分可以分为2种：阻塞队列非阻塞
分类：
编程语言 时间：
2020-08-29 15:22:08
阅读次数：
54
package com.test; import java.util.LinkedList; import java.util.List; import java.util.concurrent.*; public class ThreadPoolExecutorTest2 { public sta ...
分类：
编程语言 时间：
2020-08-25 18:46:49
阅读次数：
118
程序员经常要面临的一个问题就是：如何提高程序性能?这篇文章，我们循序渐进，从内存、磁盘I/O、网络I/O、CPU、缓存、架构、算法等多层次递进，串联起高性能开发十大必须掌握的核心技术。I/O优化：零拷贝技术I/O优化：多路复用技术线程池技术无锁编程技术进程间通信技术RPC&&序列化技术数据库索引技术缓存技术&&布隆过滤器全文搜索技术负载均衡技术准备好了吗，坐稳了，发
分类：
其他好文 时间：
2020-08-24 16:28:12
阅读次数：
61
//java8线程池 ExecutorService pool = Executors.newFixedThreadPool(4); Callable a = ()->{return findA();}; Callable b = ()->{return findB();}; Callable c ...
分类：
编程语言 时间：
2020-08-17 17:10:01
阅读次数：
59
在java语言中，可以通过new Thread的方法来创建一个新的线程执行任务，但是线程的创建是非常耗时的，而且创建出来的新的线程都是各自运行，缺乏统一的管理，这样做的后果可能是导致创建过多线程从而过度消耗系统资源，最终导致性能急剧下降，线程池的引入就是为了解决这个问题。 当使用线程池控制线程数量时 ...
分类：
系统相关 时间：
2020-08-15 22:30:04
阅读次数：
79
单例模式 单例模式是GoF设计模式其中的一种并且属于创造的设计模式目录。 单例模式限制类的实例和确保java类在java虚拟机中只有一个实例的存在。 单例类必须提供一个全局的访问来获取类的实例。 单例模式用来日志，驱动对象，缓存和线程池。 单例设计模式也用在其他设计模式，例如抽象工厂，建造者，原型， ...
分类：
编程语言 时间：
2020-08-10 11:03:44
阅读次数：
70
BlockingQueue 使用场景：多并发处理，线程池 阻塞队列的使用 四组API 方式 抛出异常 有返回值，不抛异常 阻塞等待 超时等待 添加 add offer put offer( , , ) 删除 remove poll take poll( , ) 检测队列首部 element peek ...
分类：
其他好文 时间：
2020-08-07 12:31:28
阅读次数：
70
池化技术 程序的运行，本质：占有系统的资源！优化资源的使用 池化技术：事先准备好一些资源，有人要用，就过来取，用完之后还给我。 线程池的好处 降低资源消耗 提高响应的速度 方便管理 线程可复用，可以控制最大并发数，管理线程 线程池：三大方法 package pers.vincent.matrix.s ...
分类：
编程语言 时间：
2020-08-07 12:30:32
阅读次数：
57
