1 #-*- coding=utf-8 -*- 2 import requests 3 import re 4 import json 5 import time 6 from PIL import Image 7 import cStringIO 8 import cookielib 9 impo ...
分类：
其他好文 时间：
2016-11-10 07:40:02
阅读次数：
566
微博的的模拟登陆是比较坑的，看了网上很多大神的帖子，自己又看了微博的登陆时的json数据：1、发现登陆时在输入账号时用chrome可以看到会有一个prelogin之类的网址，网址后面会有大串的随机数。我测试了下，发现在没有随机数的情况下的网址也能得到所需要的severtime、nonce、等几个数据 ...
分类：
编程语言 时间：
2016-11-06 11:49:58
阅读次数：
420
模块： （1）url管理器：对url进行管理 （2）网页下载器（urllib2）：将需要爬取的url指定的网页以字符串的形式下载下来 （3）网页解释器（BeautifulSoup）：解析 利用urllib2下载网页的方法： 方法1： 方法2： 方法3： 网页解释器种类： （1）正则表达式 （2）ht ...
分类：
编程语言 时间：
2016-11-04 16:45:13
阅读次数：
265
python装饰器、字符串、cookielib模块 python decode与encode解决字符串编码问题原理：python内部是unicode编码的。（unicode编码是中转站）decode 把其他编码转换成unicode编码encode 把unicode编码转换成其他编码 python操作 ...
分类：
编程语言 时间：
2016-07-25 13:03:17
阅读次数：
232
# HttpClient.py is written by [xqin]: https://github.com/xqin/SmartQQ-for-Raspberry-Piimport cookielib, urllib, urllib2import urllib2,cookielibcookie= ...
分类：
编程语言 时间：
2016-06-25 12:09:48
阅读次数：
235
接着上一篇，发现了导致登录选课页面出现错误的原因：cookie不符通过使用google浏览器F12调试发现，在一定时间内，向抢课页面Post数据的headers里包括的cookie是不变的然而和通过python的cookielib.CookieJar()得到的cookie却不一样，于是通过手动调试得到cookie写入headers来..
分类：
其他好文 时间：
2016-06-06 01:29:29
阅读次数：
205
import requests import mechanize import cookielib import sys import IPy import threading import Queue import argparse class findTitle(object): def __i ...
分类：
其他好文 时间：
2016-05-28 17:26:20
阅读次数：
132
初学网络爬虫，参考 http://cuiqingcai.com/968.html以 及 http://blog.csdn.net/pleasecallmewhy/article/details/8923067 登录我自己学校的时候会遇到验证码的阻碍，比较简单的一个方法是绕过验证码，先手动登录一次，然 ...
分类：
编程语言 时间：
2016-05-25 14:56:21
阅读次数：
761
本来是想用cookielib模块获取cookie的，但是只获取到了第一个分号的内容，就直接找在F12里面找到cookie,试了下效果，发现就是cookie问题就直接先把代码写出来！ 要注意的地方： 1、首先就是cookie了，最好能够自动获取，我看我今天可不可以完成这个任务； 2、然后就是user- ...
分类：
移动开发 时间：
2016-05-11 13:29:47
阅读次数：
232
