docs/cplat/rt/python/fetchurl - 百度开放云平台用python爬虫抓站的一些技巧总结 - OPEN 开发经验库
分类：
编程语言 时间：
2015-07-17 13:41:32
阅读次数：
130
#coding:utf-8#author:Blood_Zero''' 1、获取网页信息 2、解决编码问题，通过charset库(默认不安装这个库文件)'''import urllibimport urllib2url = "http://192.168.1.135/myself/"htm...
分类：
编程语言 时间：
2015-07-15 18:35:16
阅读次数：
146
无奈的 做次标题党。 欢迎大家加入，交流。群号：284230680? 备注使用：“oschina”吧 上次分享的scrapy 代码。一直想 抓取一下 极客学院的。但是 在web层面上，根本没有办法突破 登陆机制。只能买个VIP 进行下载...
分类：
编程语言 时间：
2015-07-15 15:20:38
阅读次数：
172
python实现爬虫下载美女图片
本次爬取的贴吧是百度的美女吧，给广大男同胞们一些激励
在爬取之前需要在浏览器先登录百度贴吧的帐号，各位也可以在代码中使用post提交或者加入cookie
爬行地址：http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0
#-*- coding:utf-8 -*-
impo...
分类：
编程语言 时间：
2015-07-15 09:27:07
阅读次数：
224
怪不得都说压力山大，连山大服务器压力都太大了。并且编辑直接把图片挂到一个页面上是什么意思= =，一张照片8M+,反正外网速度台有限了。索性写个爬虫让他慢慢下吧，顺便当学习练手了。。。（PS：不知道为什么在windows下面在页面中用迅雷下载全部链接也无效，不知道什么原因？）
一共192组图片，前20组由于网页上顺序有问题，后期爬虫写完后又懒得改正则匹配了，所以就这样吧_(:з」∠)_...
分类：
其他好文 时间：
2015-07-08 19:00:54
阅读次数：
116
参考笔记 虫师 http://www.cnblogs.com/fnng/p/3576154.html#自动访某个网址from selenium import webdriverimport timeM = 100000 i = 0URL = 'http://www.yyxxww.com/html/2...
分类：
编程语言 时间：
2015-07-03 09:08:17
阅读次数：
247
初学Python,结合网络资料整理#!/usr/bin/python
#coding=UTF-8
‘‘‘
爬虫v1.0(L)
‘‘‘
importtime
importsys
importre
#====================================
#根据Python的版本选择需要加载的模块
#====================================
if(sys.version)[0]==‘3‘:
importurl..
分类：
编程语言 时间：
2015-07-01 06:27:42
阅读次数：
219
Python自动登录某财BBS，自动回帖打卡领铜钱，最后再配个plist，每天自动执行（mac）...
分类：
编程语言 时间：
2015-06-28 21:40:38
阅读次数：
602
#!/usr/bin/env python2#-*- coding: utf-8 -*-import urlliburl = "http://www.baidu.com"def getHtml(url): page = urllib.urlopen(url) html = page.re...
分类：
编程语言 时间：
2015-06-25 15:23:57
阅读次数：
122
学了一阵子Python，拿来做个什么有意思的东西呢？爬糗百好了，爬到的内容，邮件分发出去。
然后又啃了两天的wxpython，做了个简易的邮件管理界面，可以在这里增加或者删除邮件，并且一键爬虫发送。
最后，索性封装成APP吧，又试了一把py2app，简单好用。
首先是QiuBai.py：爬虫，正则匹配我们想要的内容，然后将内容稍作处理返回。
#!/usr/bin/env pytho...
分类：
移动开发 时间：
2015-06-24 12:56:05
阅读次数：
179
