python爬虫,web spider。爬取网站获取网页数据,并进行分析提取。 ????基本模块使用的是 urllib,urllib2,re,等模块 (一)基本用法,例子 ????(1)进行基本GET请求,获取网页html #!coding...
分类:
编程语言 时间:
2014-08-20 00:10:25
阅读次数:
376
特别鸣谢阮思绮同学!虽然感觉这个冷冷的博客也没人看23333import mysql.connectorimport sys, osimport urllib.requestimport reimport itertoolsuser = 'root'pwd = ''host = '127.0.0.....
分类:
数据库 时间:
2014-08-18 11:59:44
阅读次数:
352
#coding=utf=8import urllib,jsonurl ='https://api.douban.com/v2/book/user/62855846/collections'read = urllib.urlopen(url).read()j = 0titles=[]atls=[]im...
分类:
编程语言 时间:
2014-08-16 12:31:50
阅读次数:
230
1、通过快捷键 ctrl+` 或者 View > Show Console 菜单打开控制台2、粘贴对应版本的代码后回车安装适用于 Sublime Text 3:import urllib.request,os;pf='Package Control.sublime-package';ipp=subl...
分类:
其他好文 时间:
2014-08-14 13:59:28
阅读次数:
186
刚学python,试着写了个非常简单的爬虫,爬一些MM的鲍照下来。记录一下#coding=utf-8import urllib,timeimport reglobal xx=0def getHtml(url): page = urllib.urlopen(url) html = page...
分类:
其他好文 时间:
2014-08-12 18:52:14
阅读次数:
257
import urllibimport redef getHtml(url): page=urllib.urlopen(url) html=page.read() return htmlhtml= getHtml("http://tieba.baidu.com/p/24601508...
分类:
编程语言 时间:
2014-08-11 20:32:22
阅读次数:
197
自动安装:1、通过快捷键 ctrl+` 或者 View > Show Console 菜单打开控制台2、粘贴对应版本的代码后回车安装适用于 Sublime Text 3:import urllib.request,os;pf='Package Control.sublime-package';ipp...
分类:
其他好文 时间:
2014-08-10 21:31:10
阅读次数:
319
import urllib.requestimport restarturl="http://wooyun.org/searchbug.php?q=%E9%87%91%E8%9E%8D"def get_html_response(url): html_response = urllib.req...
分类:
编程语言 时间:
2014-08-05 22:27:31
阅读次数:
246
最近在看国外的文档,有些生词不认识。就用谷歌翻译来理解,用着用着闲来无事就按F12查看了下页面的源代码。发现可以用python简单的实现下谷歌翻译的页面功能。于是先上网搜下有没有类似的文章博客,发现几篇不错的,于是参考其他代码与自己的思路,简单的实现了下翻译的功能,代码如下:
import re
import urllib,urllib2
#----------模拟浏览器的行为,向谷...
分类:
编程语言 时间:
2014-08-03 20:39:45
阅读次数:
338
Subl3安装Package Control原来Subl3安装Package Control很麻烦,现在简单的方法来了一、简单的安装方法使用Ctrl+`快捷键或者通过View->Show Console菜单打开命令行,粘贴如下代码:?import urllib.request,os; pf = 'P...
分类:
其他好文 时间:
2014-08-01 10:41:21
阅读次数:
244