毕设是做爬虫相关的，本来想的是用java写，也写了几个爬虫，其中一个是爬网易云音乐的用户信息，爬了大概100多万，效果不是太满意。之前听说Python这方面比较强，就想用Python试试，之前也没用过Python。所以，边爬边学，边学边爬。废话不多说，进入正题。 1.首先是获取目标页面，这个对用p....
分类：
编程语言 时间：
2016-01-22 21:16:06
阅读次数：
298
毕设是做爬虫相关的，本来想的是用java写，也写了几个爬虫，其中一个是爬网易云音乐的用户信息，爬了大概100多万，效果不是太满意。之前听说Python这方面比较强，就想用Python试试，之前也没用过Python。所以，边爬边学，边学边爬。废话不多说，进入正题。 1.首先是获取目标页面，这个对...
分类：
编程语言 时间：
2016-01-22 17:42:59
阅读次数：
212
通过几天的学习与尝试逐渐对python爬虫有了一些小小的心得，我们渐渐发现他们有很多共性，总是要去获取一系列的链接，读取网页代码，获取所需内容然后重复上面的工作，当自己运用的越来越熟练之后我们就会尝试着去总结一下爬虫的共性，试着去写个helper类以避免重复性劳动。 参考:用python爬虫抓...
分类：
编程语言 时间：
2016-01-20 17:21:12
阅读次数：
236
花了4天终于把写完了把国内的几个漏洞平台爬完了，第一次写py,之前一直都在说学习，然后这周任务是把国内的漏洞信息爬取一下。花了1天学PY，剩下的1天一个。期间学习到了很多。总结如下：===========================================================...
分类：
编程语言 时间：
2016-01-15 20:11:48
阅读次数：
191
近日，学习爬虫基础，自己写了一个小脚本。目标：每天晚上定时发送第二天的工作项目到QQ邮箱。思路： 1、从停电申请系统，统计出第二日的工作项目。 2、每天晚上定时发送该项目到QQ邮箱。要解决的主要问题： 1、从停电申请系统获取第二日的数据。 2、定时任务。 3、发送邮件的脚本。步骤： 1。...
分类：
编程语言 时间：
2016-01-15 20:02:14
阅读次数：
157
首先，推荐两个关于python爬虫不错的博客：Python爬虫入门教程专栏 和 Python爬虫学习系列教程。写的都非常不错，我学习到了很多东西！在此，我就我看到的学到的进行总结一下！ 爬虫就是一个不断的去抓去网页的程序，根据我们的需要得到我们想要的结果！但我们又要让服务器感觉是我们人在通过浏...
分类：
编程语言 时间：
2016-01-14 18:47:36
阅读次数：
189
这个列表包含与网页抓取和数据处理的Python库网络通用urllib-网络库(stdlib)。requests-网络库。grab-网络库（基于pycurl）。pycurl-网络库（绑定libcurl）。urllib3-Python HTTP库，安全连接池、支持文件post、可用性高。httplib2...
分类：
编程语言 时间：
2016-01-07 22:46:35
阅读次数：
459
SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP协议属于TCP/IP协议簇，它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器,就可以把E-m.....
分类：
编程语言 时间：
2016-01-03 14:50:04
阅读次数：
175
一年前突然有个灵感，想搞个强大的网盘搜索引擎，但由于大学本科学习软件工程偏嵌入式方向，web方面的能力有点弱，不会jsp，不懂html，好久没有玩过sql，但就是趁着年轻人的这股不妥协的劲儿，硬是把以前没有学习的全部给学了一遍，现在感觉web原来也就那么回事。好了，废话就..
分类：
编程语言 时间：
2015-12-31 21:18:26
阅读次数：
273
#-*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport html5libimport reimport urlliburl1 = 'http://accounts.douban.com/login'url2 = ...
分类：
编程语言 时间：
2015-12-29 21:07:06
阅读次数：
309
