网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。 Scrapy使用了Twisted异步网络库来处理网络通讯 ...
分类:
编程语言 时间:
2016-06-18 15:34:35
阅读次数:
316
一、同步和异步 网络通信中的同步机制和异步机制是描述通信模式的概念。 同步机制:是指发送方发送消息后,需要等待接收到接收方发回的响应后,才接着发送下一个请求。 在同步机制中,所有的请求在服务器端得到同步,发送和接收方对请求的处理步调是一致的。 异步机制:发送方发出一个请求后,不等待接收方响应这个请求 ...
分类:
其他好文 时间:
2016-06-16 13:02:27
阅读次数:
121
Volley 是 Google 推出的轻量级 Android 异步网络请求框架和图片加载框架。在 Google I/O 2013 大会上发布。其适用场景是数据量小,通信频繁的网络操作。 主要特点: (1). 扩展性强。Volley 中大多是基于接口的设计,可配置性强。(2). 一定程度符合 Http ...
分类:
其他好文 时间:
2016-06-14 15:35:28
阅读次数:
202
nginx特色支持高并发资源消耗少负载均衡缓存功能支持异步网络nginx虚拟主机worker_processes1;events{worker_connections1024;}http{includemime.types;default_typeapplication/octet-stream;sendfileon;keepalive_timeout65;includeextra/www.conf;includeextra/blog.conf;in..
分类:
其他好文 时间:
2016-05-30 16:04:36
阅读次数:
203
前些时做的Swift版本的瀑布流的Demo《Swift UITableView瀑布流/NSURLConnection异步网络请求》时,使用的是NSURLConnection做的网络异步请求,图片的异步加载使用的是GCD做的。在使用的过程中,网络请求部分是没有什么问题的,但是在图片的异步加载时,由于图片没有缓存,所以在上下滑动的时候,需要不断的加载图片,所以用户体验不好。
在OC中,我们有AFNet...
分类:
编程语言 时间:
2016-05-12 22:46:40
阅读次数:
325
DiskLruCache Java实现基于LRU的磁盘缓存
EventBus 安卓优化的事件总线,简化了活动、片段、线程、服务等的通信
Volley Google推出的Android异步网络请求框架和图片加载框架...
分类:
移动开发 时间:
2016-05-09 15:58:38
阅读次数:
259
本篇文章我们来一起写一个最基本的Android异步网络请求框架,借此来了解下Android中网络请求的相关姿势。由于个人水平有限,文中难免存在疏忽和谬误,希望大家可以指出,谢谢大家:) 1. 同步网络请求 以HTTP的GET请求为例,我们来介绍一下Android中一个基本的同步请求框架的实现。直接贴 ...
分类:
移动开发 时间:
2016-04-19 06:15:14
阅读次数:
181
事件驱动 简而言之,事件驱动分为二个部分:第一,注册事件;第二,触发事件。自定义事件驱动框架,命名为:“弑君者”: 事件服务器端: 1 __author__ = 'lizheng' 2 # !/usr/bin/env python 3 #-*- coding:utf-8 -*- 4 event_li ...
分类:
其他好文 时间:
2016-04-08 10:18:17
阅读次数:
153
Twsited异步网络框架 Twisted是一个事件驱动的网络框架,其中包含了诸多功能,例如:网络协议、线程、数据库管理、网络操作、电子邮件等。 事件驱动 简而言之,事件驱动分为二个部分:第一,注册事件;第二,触发事件。 自定义事件驱动框架,命名为:“弑君者”: 程序员使用“弑君者框架”: Prot ...
分类:
编程语言 时间:
2016-04-05 19:30:41
阅读次数:
180
Twisted是一个事件驱动的网络框架,其中包含了诸多功能,例如:网络协议、线程、数据库管理、网络操作、电子邮件等。 Twisted介绍:http://blog.csdn.net/hanhuili/article/details/9389433 事件驱动 简而言之,事件驱动分为二个部分:第一,注册事 ...
分类:
其他好文 时间:
2016-04-04 14:44:09
阅读次数:
113