加入实验室，要写爬虫，以前写过java的，新学python练练手首先是发包程序，框架如下:首先是POST方式，代码如下: 1 import urllib 2 import urllib2 3 url='http://someserver.com/cgi-bin/register.cgi' 4 use...
分类：
编程语言 时间：
2015-05-30 23:57:40
阅读次数：
181
没想到python是如此强大，令人着迷，以前看见图片总是一张一张复制粘贴，现在好了，学会python就可以用程序将一张张图片，保存下来。今天逛贴吧看见好多美图，可是图片有点多，不想一张一张地复制粘贴，怎么办呢？办法总是有的，即便没有我们也可以创造一个办法。下面就看看我今天写的程序：#coding=u...
分类：
编程语言 时间：
2015-05-30 18:14:26
阅读次数：
181
我想我该去真真正正的去学点东西了，虽然平时很忙，可我真的没学什么东西 python源码模块的阅读 python爬虫 python框架源码??? 写一套自己的框架 python算法实现 python游戏实现 --------------- 操作系统，多...
分类：
其他好文 时间：
2015-05-28 18:29:30
阅读次数：
147
为了方便，在Windows下我用了PyCharm，个人感觉这是一款优秀的python学习软件。爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。学习python爬虫前，先学习下其他..
分类：
编程语言 时间：
2015-05-27 19:27:07
阅读次数：
206
from BeautifulSoup import *
from urlparse import urljoin
ignaorewords=set(['the','of','to','and','a','in','is','it'])
我们的搜索引擎基于关键词, 所以将连词,冠词忽略
下面的代码是爬虫, 将网页的文本数据存储到我们的sqlite中, 大家看不懂也没有关系, 知道这些函...
分类：
编程语言 时间：
2015-05-25 13:07:15
阅读次数：
275
最近用Python写了个豆瓣读书的爬虫玩，方便搜罗各种美美书，分享给大家
实现功能：
1 可以爬下豆瓣读书标签下的所有图书
2 按评分排名依次存储
3 存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet
4 采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避...
分类：
编程语言 时间：
2015-05-21 10:58:26
阅读次数：
327
1.原理：
这个程序可以实现批量获取到某一个CSDN博客的个人信息、目录与链接的对应，并存到一个本目录的mulu.txt文件中
2.具体代码：
# -*- coding: cp936 -*-
import urllib.request#
import re#
import sys#
import time#
import random
import string
headers = {#...
分类：
编程语言 时间：
2015-05-19 10:44:32
阅读次数：
156
废话不多说，直接贴代码，主要采用BeautifulSoup写的
# -*- coding: utf-8 -*-
"""
Created on Mon May 18 19:12:06 2015
@author: Administrator
"""
import urllib
import os
from bs4 import BeautifulSoup
impo...
分类：
编程语言 时间：
2015-05-19 10:44:07
阅读次数：
145
#出处:http://python.jobbole.com/81351/#确定url并抓取页面代码，url自己写一个import urllib,urllib2def getUrl(): page=1 url="http://www.qiushibaike.com/hot/page/"+s...
分类：
编程语言 时间：
2015-05-16 00:00:01
阅读次数：
370
