说明:程序使用http://s.tool.chinaz.com/same此网站查询的结果,使用python简单的实现抓取结果
先随便查询一个结果,抓包分析,如图:
使用python模仿post表单,使用正则表达式匹配结果
代码如下:
# -*- coding: utf-8 -*-
import urllib
import urllib2
import re
import ...
分类:
编程语言 时间:
2014-10-11 04:15:34
阅读次数:
249
偶然下载一种类型的资源,发现好多翻页,右键另存什么的,不胜其烦。决定用python写几句代码搞定。核心代码如下:from urllib import urlretrievefrom urllib import urlretrieveurlretrieve(url,save_to_path,show_...
分类:
编程语言 时间:
2014-10-07 20:25:53
阅读次数:
195
1、安装 Packages ctrl + ` (1左面的那个顿号) 输入下面的命令:import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path();.....
分类:
其他好文 时间:
2014-10-07 16:59:43
阅读次数:
319
前面一直强调Python运用到网络爬虫方面非常有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简单介绍下Python是如何爬去网络数据的,文章知识非常简单,但是也分享给大家,就当简单入门吧!同时只分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要介绍了如何手动爬取新浪播客和CSDN博客的思想和方法.如果有错误或不足之处,请海涵!...
分类:
编程语言 时间:
2014-10-04 17:57:27
阅读次数:
266
先啰嗦一句,我使用的版本是python2.7,没有使用3.X的原因是我觉 得2.7的扩展比较多,且较之前的版本变化不大,使用顺手。3.X简直就是革命性的变化,用的蹩手。3.x的版本urllib与urllib2已经合并为 一个urllib库,学着比较清晰些,2.7的版本呢urllib与urllib2各...
分类:
其他好文 时间:
2014-10-04 17:13:07
阅读次数:
211
本想抓取网易摄影上的图,但发现查看html源代码时找不到图片的url,但firebug却能定位得到。(不知道为什么???)目标是抓取前50页的爆乳图,代码如下:import urllib2,urllib,re,os'''http://www.dbmeizi.com/category/2?p=%'''...
分类:
数据库 时间:
2014-10-01 21:26:21
阅读次数:
312
#!/usr/bin/pythonimportreimportosimporturllibtry:importsimplejsonexceptImportError:os.popen(‘yuminstallpython-simplejson-y‘)try:importpycurlexceptImportError:os.popen(‘yuminstallpython-pycurl-y‘)defbuffer_line(monitor_log):buf=open("/etc/sae/rdc_buffer.txt"..
分类:
其他好文 时间:
2014-09-29 16:20:41
阅读次数:
244
#coding:utf-8import urllib #导入模块print dir(urllib) #查看urllib方法print help(urllib.urlopen) #查看帮助文档url="http://www.baidu.com" #定义网址html=urllib.urlop...
分类:
编程语言 时间:
2014-09-29 15:33:41
阅读次数:
163
除了 Http 模块可以模拟 Http 请求外,使用 Urllib 模块也是可以模拟 Http 请求的,只不过功能相对弱一点。1 import urllib.request2 3 opener = urllib.request.urlopen("http://www.baidu.com")4 byt...
分类:
编程语言 时间:
2014-09-28 01:37:30
阅读次数:
205
python urllib2 模拟网站登陆1. 可用浏览器先登陆,然后查看网页源码,分析登录表单2. 使用python urllib2,cookielib 模拟网页登录import urllib,urllib2,cookielib#urllib2 支持 http,httpsdef loginWeb(...
分类:
编程语言 时间:
2014-09-26 18:08:38
阅读次数:
202