《Python爬虫学习系列教程》学习笔记 http://cuiqingcai.com/1052.html 大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Pytho ...
分类：
编程语言 时间：
2017-10-06 21:20:28
阅读次数：
221
因为工作需要经常收集一些数据，我就想通过学爬虫来实现自动化完成比较重复的任务。 目前我Python的状况，跟着敲了几个教程，也算是懂点基础，具体比较深入的知识，是打算从做项目中慢慢去了解学习。 我是觉得如果一开始就钻细节的话，是很容易受到打击而放弃的，做点小项目让自己获得点成就感路才更容易更有信心走 ...
分类：
编程语言 时间：
2017-09-20 14:58:23
阅读次数：
141
当在编写爬虫时同时开启了Fidder解析工具时，访问目标站点会遇到以下错误： File "C:\Users\litao\AppData\Local\Programs\Python\Python36-32\lib\site-packages\requests\adapters.py", line 50 ...
分类：
编程语言 时间：
2017-09-09 11:53:28
阅读次数：
214
爬虫，笔记应该怎么写呢？ 这就是一个标准的样式，r=requests.request(get,params,等参数)，参数有的是headers,是user_agent， 是用户代理，默认这个是python requests，但有些网站不支持，比如亚马逊。所以得加用户代理参数，（可以换成，就谷歌浏览器 ...
分类：
编程语言 时间：
2017-08-05 23:33:52
阅读次数：
411
前一篇小文中就提到了python的requests库可以获取网络编码中的所有内容，我们获取了自然就必须对它进行加工处理，就像我们学习一样，一本书，我们可以轻易的获取，但是它究竟是在讲哲学还是讲历史呢还是其他云云，需要我们认真分析，取其精华去其糟粕。而在python当然也有做这个工作的’人‘，就是我们 ...
分类：
编程语言 时间：
2017-07-31 20:05:32
阅读次数：
446
最近看机器学习挺火的，然后，想要借助业余时间，来学习Python，希望能为来年找一份比较好的工作。 首先，学习得要有动力，动力，从哪里来呢？肯定是从日常需求之中来。我学Python看网上介绍。能通过Python来编写爬虫，于是，我也的简单的看了一下Python的介绍，主要是Python的一些语法，还 ...
分类：
编程语言 时间：
2017-07-03 22:27:58
阅读次数：
276
布隆过滤器的实现方法1:自己实现 参考 http://www.cnblogs.com/naive/p/5815433.html bllomFilter两个参数分别代表,布隆过滤器的大小和hash函数的个数 布隆过滤器的实现方法2:使用pybloom 参考 http://www.jianshu.com ...
分类：
编程语言 时间：
2017-06-18 13:24:59
阅读次数：
201
2017年6月4日21:08:34 1.dict的作用是建立一组 key 和一组 value 的映射关系，dict的key是不能重复的。2.set 持有一系列元素，这一点和 list 很像，但是set的元素没有重复，而且是无序的，这点和 dict 的 key很像。3.因为set不能包含重复的元素，所 ...
分类：
编程语言 时间：
2017-06-05 10:33:43
阅读次数：
224
偶然的机会，在知乎上看到一个有关爬虫的话题<利用爬虫技术能做到哪些很酷很有趣很有用的事情？>,因为强烈的好奇心和觉得会写爬虫是一件高大上的事情，所以就对爬虫产生了兴趣。 关于网络爬虫的定义就不多说了，不知道的请自行点击查看 =>百度百科 网络爬虫，维基百科 网络爬虫 有很多编程语言都可以编写网络爬虫 ...
分类：
编程语言 时间：
2017-05-19 01:01:33
阅读次数：
224
