分享到一键分享QQ空间新浪微博百度云收藏人人网腾讯微博百度相册开心网腾讯朋友百度贴吧豆瓣网搜狐微博百度新首页QQ好友和讯微博更多...百度分享python实现爬取千万淘宝商品的方法作者:mingaixin 字体:[增加 减小] 类型:转载这篇文章主要介绍了python实现爬取千万淘宝商品的方法,涉及...
分类:
编程语言 时间:
2015-08-10 01:54:24
阅读次数:
460
python爬虫(二):向网页提交数据回忆一下,我们有的时候在看一些网站的时候,是否遇见过一些网站里面的信息开始显示一部分,然后当我们把鼠标滑轮向下拉动后,又显示出一些信息。这就是异步加载。我的上一篇文章python爬虫百度贴吧标题数据爬取的所有标题都是页面已经加载好的。但是对于这种开始没有加载好的数据我们应该如何爬取呢?接下来我们先介绍下一些概念:
异步加载:举个简单的例子就是说,假如老师判作业,...
分类:
编程语言 时间:
2015-08-06 16:58:15
阅读次数:
327
总体功能:下载百度贴吧网页的图片
这个例子延续了上一个抓取贴吧楼主发布内容的例子,上一个例子是把图片剔除掉了,这边重新做了一个下载图片的demo,比较简单。
代码:
# -*- encoding:utf-8 -*-
# 下载贴吧的图片
import re
import urllib
import urllib2
#下载百度贴吧图片类
class DownloadIm...
分类:
其他好文 时间:
2015-08-02 11:49:21
阅读次数:
213
总体功能:查看特定帖子楼主的发言(不包含图片)前段时间大概看了python的语法,但是确实第一次用python来写东西。很久之前就想学python,学爬虫了,现在终于开始了!谢了自己的第一个爬虫,很开心O(∩_∩)O 觉得学东西兴趣很重要,爬虫真的好玩!整个功能的实现含有两个类,一个是工具类Tool,另一个是百度贴吧的爬虫类BaiduTieba,提取网页的内容主要还是正则表达式。代码如下:# -*-...
分类:
其他好文 时间:
2015-08-01 19:04:56
阅读次数:
251
牛腩新闻发布系统添加新闻和登录界面用到了验证码,生活中经常遇到形形色色的验证码,数字和字母的,12306图片形式的,百度贴吧文字形式的等等。当时见得时候感觉很神奇,现在刚好学到了,感觉很有意思,接触了BS之后,越来越多的网页神秘的内容,会慢慢的被了解,这种渴望的感觉特别棒。见到了自己喜欢的那就应该认真的分析,理解验证码的产生,这里说的是数字和字母类型的,从简单的入手。
什么是验证码,它是干什么的...
分类:
其他好文 时间:
2015-07-31 21:55:02
阅读次数:
222
源于几年前一次在百度贴吧开贴讨论Swing MVC,最近又间歇性的把代码整理了一下,然后从bitbucket挪到了github,不得不说这年头代码要是不放在github就好像白写了一样。
https://github.com/raistlic/raistlic-app-tetris...
分类:
其他好文 时间:
2015-07-24 22:47:49
阅读次数:
143
其实很早就想写博客了,只是感觉自己的技术不行,写出来的东西技术性不强,写出来也没什么用,不过后来想想,写写博客记录开发中遇到的问题也不错....今天我想写的是tableView的悬浮效果,因为我们公司最近在开发社区,就是和百度贴吧类似的,嵌套在应用中,而其中关于每一个的帖子要像这种效果开始是做不出这...
分类:
移动开发 时间:
2015-07-24 17:49:05
阅读次数:
158
说也奇怪,我找来很多资料都没有解决这个问题居然在百度贴吧里找到来说明大神还是在民间突然不能上网,刚刚安装系统的第一天还能上网,结果后来网络就一直连不上,然后我就百度阿,搜阿搜看了一些帖子,都说要手动设置网卡配置等等,结果看到贴吧居然有人在贴吧里面提问看到一个回复你把计算机休眠,在开启就可以连接啦.....
分类:
系统相关 时间:
2015-07-24 12:08:53
阅读次数:
233
注:转载自百度贴吧ACM队不是为了一场比赛而存在的,为的是队员的整体提高。大学期间,ACM队队员必须要学好的课程有:lC/C++两种语言l高等数学l线性代数l数据结构l离散数学l数据库原理l操作系统原理l计算机组成原理l人工智能l编译原理l算法设计与分析除此之外,我希望你们能掌握一些其它的知识,因为...
分类:
其他好文 时间:
2015-07-17 11:36:36
阅读次数:
476
在百度贴吧(或 QQ 空间等)中找到一张图片,复制图片地址,在站外通过 img src 引用,会发现:此外,在一些统计软件中,统计访客的来路(直接访问、外部链接、搜索引擎),都用到了 HTTP 协议请求头中 Referer 的知识。【例】直接访问 www.baidu.com 和 在通过本地页面跳转至...
分类:
Web程序 时间:
2015-07-16 02:01:16
阅读次数:
3607