爬虫.多线程爬虫与多进程爬虫

标签：错误   停止   创建   php   互斥   多进程   javascrip   容灾   提高   

多线程爬虫

　　多线程的复杂性

　　　1.资源、数据的安全性：锁保护

　　　2.原子性：数据操作是天然互斥的

　　　3.同步等待：wait（）、notify（）、notifyAll（）

　　　4.死锁：多个线程对资源互锁，造成死锁

　　　5.容灾：任何线程出现错误，整个进程都会停止

　　多线程的优势

　　　1.内存空间共享，信息数据交换效率高

　　　2.提高CPU的使用效率

　　　3.开发便捷

　　　4.轻，创建、销毁的开销小

　　Python线程

　　　　支持多线程（JavaScript PHP 不支持多线程）

　　　　Python线程直接映射到native线程（Java1.4的Java线程是JVM实现的，共同运行在一个native thread）

　　　　GIL：对于多核的利用能力有限

　　实现一个多线程爬虫

爬虫.多线程爬虫与多进程爬虫

标签：错误   停止   创建   php   互斥   多进程   javascrip   容灾   提高   

原文地址：https://www.cnblogs.com/jacky912/p/10521991.html